Tôi đã nói qua về thông tin

Bit. Nhãn. Xác suất.

I bằng logarit cơ số 2
của tổng Pi với mọi i

Đây là công thức căn bản
của lý thuyết thông tin

Tôi đã nói về
thông tin hai chiều

khi tôi có hai biến

ví dụ như là đầu vào và đầu ra
của một kênh

Những gì thông tin hai chiều
cho bạn biết

tương đương với thông tin được

chia sẻ giữa đầu vào và đầu ra.

Đó là thông tin

được truyền qua

hay đi qua kênh truyền.

Và thực tế là, Claude Shannon
cho ta biết

thực ra nó bằng với

dung lượng thực tế
của kênh truyền

Hoặc nếu tôi có xác suất đầu vào,
hay là

tần suất mà cực đại hóa
thông tin

hai chiều, thì thông tin hai chiều
này

chính là tốc độ mà thông tin có thể
được truyền

một cách tin cậy trên kênh. Bạn
không thể

truyền tin ở tốc độ cao hơn, mà

chỉ có thể gửi tin ở tốc độ 
tối đa này thôi.

Đây là một ứng dụng
rất quan trọng

của lý thuyết thông tin, vì nó

cho ta ta biết là nếu ta có
một kênh bị nhiễu

hoặc kênh mà thông tin bị mất, như
là các kênh mà chúng ta sử dụng

âm thanh hay ánh sáng,

hay các kênh truyền sóng điện từ

kênh mà chúng ta gửi thông tin

qua thư, tất cả các kênh

đều có một dung lượng nhất định.
Và lý thuyết Shannon cho ta biết

dung lượng này là bao nhiêu
nó cho ta biết là ta

không thể vượt qua nó, 
và nó cho ta biết

làm sao ta đạt được nó.
và đây là căn bản của việc

ứng dụng lý thuyết thông tin vào

các liên lạc thực tế, ví dụ như

qua cáp quang.

Có một số ví dụ vui của việc này.

Một cách tiếp cận vấn đề là

giả sử ta có một kênh ở đây.
Ta có x ở đầu vào

Ta có P của xi. Ở đây ta có

đầu ra. Chúng ta có P (yj|xi),

Và chúng ta có thông tin hai chiều
liên kết

Ở đây ta có I(x), là thông tin
đầu vào

Ở đây ta có I(y), là thông tin 
đầu ra

Thông tin được truyền

qua kênh tương tự như thông tin
hai chiều

giữa đầu vào

và đầu ra. Chúng ta cũng có thể

xem xét cái mà tôi sẽ gọi là
"mất mát",

và một yếu tố khác mà tôi
sẽ gọi là

"nhiều". Vậy, "mất mát" là gì?
Mất mát là thông tin

đi vào kênh,

nhưng không tới được đâu ra.
Giống như một con bọ

chui vào bẫy. Vậy nó là cái gì?

Đó là thông tin mà chúng ta không
biết được đầu vào

giả sử là chúng ta biết đầu ra.

Vậy nếu chúng ta biết được đầu ra,

đã có một số thông tin hay bit ở đầu vào

không tới được đầu ra. Tương tự,

nhiễu là các thông tin ở đầu ra

nhưng không có ở đầu vào. Nhiễu
là các thông tin

mà chúng ta không biết
từ đâu xuất hiện, nó là

các bit thông tin sai lệch
tự dưng

xuất hiện mà không tồn tại

ở đầu vào. Vậy là chúng ta có bức tranh

toàn cảnh về quá trình

xử lý thông tin. Chúng ta có

thông tin đi vào, chúng ta có

thông tin đi ra. Chúng ta có 
sự mất mát

là thông tin đi vào mà

không đi ra. Chúng ta có nhiễu, là

thông tin bỗng nhiên xuất hiện

mà không có ở đầu vào -
đương nhiên, các thông tin này

phải có nguồn gốc từ các 
quá trình vật lý. Và cuối cùng

chúng ta có thông tin hai chiều, là

các thông tin thực sự được

truyền qua kênh và thể hiện

dung lượng kênh.

Tôi cũng đã trình bày qua về
quá trình tính toán.

Nếu bạn có một chiếc máy tính. Máy tính

trông như thế này khi

tôi còn bé .. Bạn có, 
dạng như một băng đĩa

bạn có rất nhiều các bóng đèn nhỏ

trên các cổng và công tắc, và rồi bạn

đọc băng, và nó sẽ ghi lên

đầu ra, ví dụ như một băng giấy -
bạn thậm chí có thể

xác lập đầu vào trên một băng giấy khác -
nó sẽ

có bộ nhớ kiểu vậy. Một máy tính

điện tử sẽ chia nhỏ

thông tin

thành các bit là các đơn vị
thông tin

nhỏ nhất, thường được gọi là 
0 và 1, hoặc

đúng và sai trong máy tính
điện tử

Và rồi máy tính sẽ đổi giá trị
các bit này

một cách có hệ thống.

Vậy với tất cả sức mạnh và

sự ngu ngốc của chúng, tất cả các

máy tính điện tử mà chúng ta có, 
bao gồm

cả điện thoại thông minh, 
cũng như

máy tính cá nhân và siêu máy tính,
tất cả

chúng đều ghi nhận và lưu trữ

thông tin dưới dạng bit và rồi
thay đổi các bit này

một cách có hệ thống.

Và chỉ nhắc bạn về

lý thuyết tính toán căn bản

rằng bất kỳ máy tính điện tử nào

cũng có thể được mô tả dưới 
dạng các mạch điện.

Đây là x, đây là y, đây là z. Đây là

một thứ khi tôi tạo một bản sao của x,

tôi dùng cổng OR ... Đây là "OR",
bạn sẽ được nhắc lại.

Đây là bản sao của X, đây là X

Đây là X hoặc Y

Còn được gọi là X OR Y

Và ở đây tôi có thể nói

ví dụ, lấy cổng AND, và

ở đây tôi có thể truyền nó qua
cổng NOT

Và tôi có thể kết hợp chúng trong
một

cổng AND khác. Và cuối cùng, tôi
nghĩ

chúng ta có NOT X AND Z AND 
(X OR Y)

Vậy, khi tôi có một máy tính điện tử,

nó sẽ nhận các bit

thông tin, thực hiện các phép 
đơn giản AND, OR, NOT, copy và

bằng việc thực hiện tuần tự các phép này,
theo bất cứ

thứ tự nào bạn muốn, thì kết thúc bạn 
có thể

tính toán bất kỳ biểu thức logic nào.

NOT X AND Z AND X OR Y ... bất kỳ

Nó có nghĩ gì .. tôi không biết

Nhưng nó là như vậy thôi.

Vậy, nếu chúng ta nói về 
tính toán điện tử

tất cả các máy tính điện tử đều

nhận và xử lý thông tin

Và nếu chúng ta có tính toán

và truyền thông,

và xác suất,

chúng ta thấy rằng việc
tập hợp các ý tưởng

về thông tin, xử lý thông tin
dưới dạng tính toán

gửi thông tin tin cậy

từ nơi này tới nơi khác
là truyền thông

thông tin ở phía dưới 
là

xác suất của các sự kiện ...
trời nắng,

trời mưa. Xác suất một
quang tử (photon)

đi vào đầu này của kênh sẽ

xuất hiện ở đầu kia. Xác suất của 0,

xác suất của 1, xác suất mặt ngửa,

xác suất mặt sấp ... nhưng khi chúng ta
đặt ba phần này

lại với nhau, chúng ta sẽ có

lý thuyết thông tin.

Và tôi hy vọng rằng trong
khóa học này

với những bài giảng ngắn gọn,
tôi đã có thể

thuyết phục bạn rằng tất cả
các quá trình

đáng kinh ngạc đang xảy ra

xung quanh ta, kết quả

cuộc cách mạng thông tin vốn 
bắt đầu

từ giữa thế kỷ XX và đang

tiếp tục với vận tốc ngày càng lớn

cho tới ngày nay, có thể được hiểu

bằng một tập hợp đơn giản các
ý tưởng toán học có

liên kết với nhau, và cho phép

tập ý tưởng này có một sự phong phú
sâu sắc

và ảnh hưởng lên xã hội loài ngoài với

những thay đổi ... tôi không rõ là gì nữa!

Cảm ơn sự theo dõi của các bạn,
Chúc làm bài tập về nhà vui vẻ.

Bài thi sẽ là dạng đề trắc nghiệm, 
tôi tin

các bạn sẽ làm tốt