chúng ta vừa ví dụ về mô hình hóa một cách khiêm tốn một bộ số liệu là một mô tả về xác suất của một trong số các cấu hình giờ tôi sẽ giới thiệu phương pháp chung để mở rộng 1 mô hình khiêm tốn hay phương pháp chung để dựng mô hình khiêm tốn hơn sự lặp lại chính xác của số liệu phương pháp đó gọi là phương pháp entropi tối đa hay nguyên lý max ent ví dụ tôi sẽ thảo luận là đoán xem bạn có gọi được taxi ở New York không có câu chuyện hài ở NY là bạn chẳng bao giờ gọi được taxi trừ phi bạn không cần taxi, taxi thì ở khắp nơi tất nhiên có nhiều lý do kỳ quặc vì sao lại thế, nhưng nếu bạn cố gọi taxi sáng sớm để xuống phía nam đại lộ Park thì bạn chẳng gọi được đâu Giả sử có vài chiếc taxi ở đây. còn bạn là chuyên gia về vấn đề này bạn thu số liệu và đang lập số liệu, bạn nghĩ mình phải gọi taxi, ra phố Mình phải đợi bao lâu để có xe, lên xe một chiếc trống giả sử tôi ghi lại số liệu trong một khoảng thời gian và đây là số liệu tôi cso đây là thời gian chờ tính bằng phút để có xe có lần tôi mất 6 phút có lần 3, 4 phút lần khác là 6 phút, ... đây là các quan sát đối với câu hỏi lớn: mất bao lâu gọi được xe? câu hỏi là: thời gian chờ là bao lâu để gọi được taxi ở NY tôi nghĩ các bạn làm giỏi lắm rồi một cách tính là lấy số liệu này ta có 10 số, về thời gian chờ taxi nên xác suất phải chờ 6 phút có vẻ là 1, 2 hoặc 3 phần 10 số lần tôi gặp xe sau 6 phút có nghĩa là có khoảng 30% khả năng tôi phải đợi 6 phút và ví dụ khả năng tôi phải đợi 2 phút có lẽ là 20% bạn có thể thấy ngay vấn đề lớn ở đây là nếu tôi cứ ngây thơ tin vào mô hình này khả năng tôi bắt được xe trong 1 phút là 0 không thể bắt được xe trong 1 phút không chỉ thế, ví dụ khả năng tôi phải đợi 7 phút không xảy ra nghe có vẻ khó hiểu như thể là chúng ta đang lạm dụng số liệu chúng ta mô tả số liệu bằng cách đưa quá nhiều cấu trúc thực tế tôi không phải đợi quá 6 phút để bắt được xe nhưng tôi đã đợi ở đó 3 lần, mỗi lần 6 phút thì có vẻ như sai số chúng ta không muốn dùng số liệu này trong mô hình vậy thay vì dùng cách đơn giản trên tôi sẽ, đây là phần chính của thuyết entropi tối đa là vẽ mô hình phân bố xác suất gồm 2 điều 1, P_{maxent} phải tính gọi P_{MaxEnt} là P_{ME} thỏa mãn một số điều kiện mà tôi sẽ nói sau và 2, sự phân bố thỏa mãn các điều kiện đó có entropi tối đa trong tất cả các sự phân bố cũng thỏa mãn các điều kiện đó vậy ta có rất nhiều phân bố xác suất thỏa mãn những điều kiện trên chúng ta sẽ chọn 1, té ra là duy nhất lựa chọn có entropi lớn nhất trong số tất cả các phân bố thỏa mãn những điều kiện trên những điều kiện trên luôn ở dạng giá trị mong đợi luôn có điều kiện với số trung bình của một số liệu nào đó trong bộ số liệu ví dụ chúng ta có thể có điều kiện với giá trị mong đợi về thời gian chờ trung bình ta viết như sau ngoặc nhọn ở đây là giá trị mong đợi của x và cách tính là lấy tích phân của xác suất chờ x lần nhân x, dx, và tính tích phân từ 0 đến dương vô cùng nếu chúng ta chỉ nói đến phút thì sẽ làm tròn đến số phút gần nhất cũng có thể viết thế này thay vì tính tích phân liên tục số lần từ 0, đến 0.01 và cứ thế, chúng ta có 1 số 0 phút, 1 phút, 2 phút, 3 phút 0 phút, vừa mở cửa là thấy xe, cứ như có phép vậy đó là giá trị mong đợi của thời gian chờ trung bình đấy là 1 ví dụ đây là 1 giá trị mong đợi khác có thể bạn sẽ đo đây là trung bình của bình phương thời gian đợi và, tất nhiên cách tính là lấy tích phân x^2dx, theo giá trị xác suất xảy ra x đó nói chung giá trị mong đợi của phương trình f(x) được tính theo xác suất xảy ra mỗi x ký hiệu ở đây các bạn có lẽ không quen hoặc ít dùng nhưng các bạn nên dành thời gian tìm hiểu vì sao thế mới là cách tính trung bình của x và nếu thích, cách này có thể quen thuộc hơn nếu tích phân khó quá, mà lẽ ra không khó chúng ta sẽ, trong trường hợp này entropi tối đa là 1, P_{ME}(x) sẽ bị giới hạn bởi giá trị trung bình của x, thời gian chờ trung bình trong toàn bộ xác suất xảy ra P_{ME} như trong số liệu và thực tế nếu bạn đếm và đo thời gian trung bình bạn sẽ thấy, tôi khá hài lòng với thời gian chờ theo số liệu, thời gian chờ là 4 phút nên ta nói phân phối chuẩn có giá trị trung bình là 4 phút Đó là bước 1, giới hạn Các bạn có thể thấy ngay là nhiều dạng phân phối có giá trị trung bình là 4 phút Ví dụ. Khả năng phải đợi x phút là 0, trừ phi x = 4 Nói một cách lý thuyết, đây là định nghĩa chỉ dùng cho mẫu rời rạc. Chúng ta dùng phương trình delta tôi sẽ trình bày sau Ví dụ 2 P(x) = 0.5 nếu x =3, 0.5 nếu x =5, 0 hoặc giá trị khác Đó đều là những mô hình khả dụng về khả năng bắt được taxi ở NY thỏa mãn điều kiện là thời gian chờ trung bình 4 phút Vậy, có thể nói, đây là mô hình phù hợp với số liệu. Cho số liệu là bắt được xe trong 3 hoặc 5 phút chứ không phải con số khác. Tất nhiên, cũng có thể kết hợp hai điều trên. ví dụ, dùng thông tin này và thông tin này sẽ được một phân phối, và biểu diễn như sau. Có nhiều khả năng thời gian chờ ở giữa 3, 4 và 5 phút. Tất nhiên, phân phối ban đầu cũng thỏa mãn điều kiện này. Theo định nghĩa, nếu có phân phối khác 0 ở những điểm đó và được tính theo số lần những con số đó xuất hiện trong bảng số liệu 4 phút cũng có khả năng xuất hiện, theo định nghĩa. Vậy ta có một bộ các mô hình. Một bộ mô hình thỏa mãn 1 điều kiện Chọn 1 sao cho entropi lớn nhất. Vậy các bạn có thể nhớ lại định nghĩa entropi. nếu không nhớ thì mời các bạn tạm ngưng video và xem lại. Chúng ta muốn một phân phối mà entropi tối đa. Một cách khác, chúng ta cần phân phối mà cho biết giá trị lớn nhất của sự không chắc chắn, khi nào xe tới, trừ phi một điều kiện không thỏa mãn. Chúng ta ra điều kiện từ đầu là xe mất trung bình 4 phút thì tới. Nhưng tôi muốn tính giá trị lớn nhất của mức độ không chắc chắn, tôi không muốn, các bạn biết đấy có những cách nói triết học tôi không muốn đưa thành kiến về taxi ở NY tôi muốn không chắc chắn về hoạt động của chúng thỏa mãn 1 điều kiện. Các bạn có thế thấy, một cách trực giác rằng luôn phải đợi 4 phút mới có xe là thỏa mãn điều kiện về giá trị trung bình nhưng như vậy là thêm điều kiện vì lý do sau tất cả thời gian chờ trừ những giá trị 4 bị loại vậy, theo linh cảm, có vẻ như cần thêm một lý luận. Nhưng chúng ta muốn đơn giản nên chúng ta sẽ tính khoảng lớn nhất khoảng lớn nhất có thể chứa toàn bộ các thông số của hệ thống thỏa mãn 1 điều kiện theo giá trị trung bình quan sát được. điều kiện ở đây dễ hơn chút vì nó cho phép khoảng giá trị rộng hơn và thực tế dùng điều kiện này làm cho tổng thể tốt hơn. chúng ta sẽ xây dựng một phân phối mà các bạn có thể hỏi, đây là một cách để cắt nghĩa entropi nếu các bạn phải đặt ra số lượng câu hỏi trung bình để xác định thời gian bắt được xe. vậy bước này cho phép chọn trong số những mô hình này, từ hệ thống các mô hình thõa mãn các điều kiện lấy 1 mô hình. .