Tôi đã nói qua về thông tin
Bit. Nhãn. Xác suất.
I bằng logarit cơ số 2 của tổng Pi với mọi i
Đây là công thức căn bản của lý thuyết thông tin
Tôi đã nói về thông tin hai chiều
khi tôi có hai biến
ví dụ như là đầu vào và đầu ra của một kênh
Những gì thông tin hai chiều cho bạn biết
tương đương với thông tin được
chia sẻ giữa đầu vào và đầu ra.
Đó là thông tin
được truyền qua
hay đi qua kênh truyền.
Và thực tế là, Claude Shannon cho ta biết
thực ra nó bằng với
dung lượng thực tế của kênh truyền
Hoặc nếu tôi có xác suất đầu vào, hay là
tần suất mà cực đại hóa thông tin
hai chiều, thì thông tin hai chiều này
chính là tốc độ mà thông tin có thể được truyền
một cách tin cậy trên kênh. Bạn không thể
truyền tin ở tốc độ cao hơn, mà
chỉ có thể gửi tin ở tốc độ tối đa này thôi.
Đây là một ứng dụng rất quan trọng
của lý thuyết thông tin, vì nó
cho ta ta biết là nếu ta có một kênh bị nhiễu
hoặc kênh mà thông tin bị mất, như là các kênh mà chúng ta sử dụng
âm thanh hay ánh sáng,
hay các kênh truyền sóng điện từ
kênh mà chúng ta gửi thông tin
qua thư, tất cả các kênh
đều có một dung lượng nhất định. Và lý thuyết Shannon cho ta biết
dung lượng này là bao nhiêu nó cho ta biết là ta
không thể vượt qua nó, và nó cho ta biết
làm sao ta đạt được nó. và đây là căn bản của việc
ứng dụng lý thuyết thông tin vào
các liên lạc thực tế, ví dụ như
qua cáp quang.
Có một số ví dụ vui của việc này.
Một cách tiếp cận vấn đề là
giả sử ta có một kênh ở đây. Ta có x ở đầu vào
Ta có P của xi. Ở đây ta có
đầu ra. Chúng ta có P (yj|xi),
Và chúng ta có thông tin hai chiều liên kết
Ở đây ta có I(x), là thông tin đầu vào
Ở đây ta có I(y), là thông tin đầu ra
Thông tin được truyền
qua kênh tương tự như thông tin hai chiều
giữa đầu vào
và đầu ra. Chúng ta cũng có thể
xem xét cái mà tôi sẽ gọi là "mất mát",
và một yếu tố khác mà tôi sẽ gọi là
"nhiều". Vậy, "mất mát" là gì? Mất mát là thông tin
đi vào kênh,
nhưng không tới được đâu ra. Giống như một con bọ
chui vào bẫy. Vậy nó là cái gì?
Đó là thông tin mà chúng ta không biết được đầu vào
giả sử là chúng ta biết đầu ra.
Vậy nếu chúng ta biết được đầu ra,
đã có một số thông tin hay bit ở đầu vào
không tới được đầu ra. Tương tự,
nhiễu là các thông tin ở đầu ra
nhưng không có ở đầu vào. Nhiễu là các thông tin
mà chúng ta không biết từ đâu xuất hiện, nó là
các bit thông tin sai lệch tự dưng
xuất hiện mà không tồn tại
ở đầu vào. Vậy là chúng ta có bức tranh
toàn cảnh về quá trình
xử lý thông tin. Chúng ta có
thông tin đi vào, chúng ta có
thông tin đi ra. Chúng ta có sự mất mát
là thông tin đi vào mà
không đi ra. Chúng ta có nhiễu, là
thông tin bỗng nhiên xuất hiện
mà không có ở đầu vào - đương nhiên, các thông tin này
phải có nguồn gốc từ các quá trình vật lý. Và cuối cùng
chúng ta có thông tin hai chiều, là
các thông tin thực sự được
truyền qua kênh và thể hiện
dung lượng kênh.
Tôi cũng đã trình bày qua về quá trình tính toán.
Nếu bạn có một chiếc máy tính. Máy tính
trông như thế này khi
tôi còn bé .. Bạn có, dạng như một băng đĩa
bạn có rất nhiều các bóng đèn nhỏ
trên các cổng và công tắc, và rồi bạn
đọc băng, và nó sẽ ghi lên
đầu ra, ví dụ như một băng giấy - bạn thậm chí có thể
xác lập đầu vào trên một băng giấy khác - nó sẽ
có bộ nhớ kiểu vậy. Một máy tính
điện tử sẽ chia nhỏ
thông tin
thành các bit là các đơn vị thông tin
nhỏ nhất, thường được gọi là 0 và 1, hoặc
đúng và sai trong máy tính điện tử
Và rồi máy tính sẽ đổi giá trị các bit này
một cách có hệ thống.
Vậy với tất cả sức mạnh và
sự ngu ngốc của chúng, tất cả các
máy tính điện tử mà chúng ta có, bao gồm
cả điện thoại thông minh, cũng như
máy tính cá nhân và siêu máy tính, tất cả
chúng đều ghi nhận và lưu trữ
thông tin dưới dạng bit và rồi thay đổi các bit này
một cách có hệ thống.
Và chỉ nhắc bạn về
lý thuyết tính toán căn bản
rằng bất kỳ máy tính điện tử nào
cũng có thể được mô tả dưới dạng các mạch điện.
Đây là x, đây là y, đây là z. Đây là
một thứ khi tôi tạo một bản sao của x,
tôi dùng cổng OR ... Đây là "OR", bạn sẽ được nhắc lại.
Đây là bản sao của X, đây là X
Đây là X hoặc Y
Còn được gọi là X OR Y
Và ở đây tôi có thể nói
ví dụ, lấy cổng AND, và
ở đây tôi có thể truyền nó qua cổng NOT
Và tôi có thể kết hợp chúng trong một
cổng AND khác. Và cuối cùng, tôi nghĩ
chúng ta có NOT X AND Z AND (X OR Y)
Vậy, khi tôi có một máy tính điện tử,
nó sẽ nhận các bit
thông tin, thực hiện các phép đơn giản AND, OR, NOT, copy và
bằng việc thực hiện tuần tự các phép này, theo bất cứ
thứ tự nào bạn muốn, thì kết thúc bạn có thể
tính toán bất kỳ biểu thức logic nào.
NOT X AND Z AND X OR Y ... bất kỳ
Nó có nghĩ gì .. tôi không biết
Nhưng nó là như vậy thôi.
Vậy, nếu chúng ta nói về tính toán điện tử
tất cả các máy tính điện tử đều
nhận và xử lý thông tin
Và nếu chúng ta có tính toán
và truyền thông,
và xác suất,
chúng ta thấy rằng việc tập hợp các ý tưởng
về thông tin, xử lý thông tin dưới dạng tính toán
gửi thông tin tin cậy
từ nơi này tới nơi khác là truyền thông
thông tin ở phía dưới là
xác suất của các sự kiện ... trời nắng,
trời mưa. Xác suất một quang tử (photon)
đi vào đầu này của kênh sẽ
xuất hiện ở đầu kia. Xác suất của 0,
xác suất của 1, xác suất mặt ngửa,
xác suất mặt sấp ... nhưng khi chúng ta đặt ba phần này
lại với nhau, chúng ta sẽ có
lý thuyết thông tin.
Và tôi hy vọng rằng trong khóa học này
với những bài giảng ngắn gọn, tôi đã có thể
thuyết phục bạn rằng tất cả các quá trình
đáng kinh ngạc đang xảy ra
xung quanh ta, kết quả
cuộc cách mạng thông tin vốn bắt đầu
từ giữa thế kỷ XX và đang
tiếp tục với vận tốc ngày càng lớn
cho tới ngày nay, có thể được hiểu
bằng một tập hợp đơn giản các ý tưởng toán học có
liên kết với nhau, và cho phép
tập ý tưởng này có một sự phong phú sâu sắc
và ảnh hưởng lên xã hội loài ngoài với
những thay đổi ... tôi không rõ là gì nữa!
Cảm ơn sự theo dõi của các bạn, Chúc làm bài tập về nhà vui vẻ.
Bài thi sẽ là dạng đề trắc nghiệm, tôi tin
các bạn sẽ làm tốt