Liku-Liku Evolusi Konsep Entropi

Penulis: Dr. Hishamuddin Zainuddin
https://acufrekuensi.blogspot.com
Mantan Pensyarah Fizik Teori,  Universiti Putra Malaysia (UPM)

Apakah entropi? Entropi lazim kita dengar apabila kita belajar termodinamik atau mekanik statistik di peringkat sarjana muda di universiti. Namun sejak akhir-akhir ini, muncul penggunaan konsep dan istilah sains dalam bahan bacaan popular dan entropi tidak terkecuali dalam hal ini. Malangnya penggunaan entropi dalam bahan bacaan popular lazimnya tidak tepat dan kadangkala salah (Ben-Naim, 2019). Perkara ini harus kita pelajari dan elak dari berleluasa. Entropi merupakan suatu konsep abstrak yang telah melalui banyak perubahan makna, menambah kerumitan untuk memahaminya. Gambarajah di bawah sedikit sebanyak ingin mencerminkan apa yang berlaku dalam setiap liku evolusi makna entropi melalui analogi tegangan gelung getah.

Liku 0 – Tiada perkataan 

Perkataan entropi pada asalnya tidak wujud dalam Bahasa Inggeris (apatah lagi dalam Bahasa Melayu) dan ia direka oleh Clausius semata-mata untuk mengungkapkan suatu kuantiti nisbah tenaga haba terhadap suhu. Perkataan entropi adalah gabungan dua kata akar Greek iaitu en (bermaksud dalam) dan trope (bermaksud transformasi); kata awalan en juga dipilih agar sama dengan kata awalan energy (tenaga) (Clausius (1879), Tsallis (2022)). Tatatanda S untuk entropi turut menjadi tanda tanya kenapa ia dipilih sedemikian. Pendapat popular di kalangan ahli fizik, tatatanda S adalah bagi mengingati dan menghormati Sadi Carnot sebagai ahli fizik terawal yang membincangkan kecekapan enjin haba (lihat liku seterusnya). Perlu ditonjolkan bahawa ketiadaan konsep entropi sebelum kemajuan termodinamik yang akhirnya melangkaui tujuan asal konsep tersebut, adalah suatu yang menakjubkan.

Liku 1 – Entropi termodinamik bersama Clausius

Kedua-dua Carnot dan Clausius berada pada zaman revolusi perindustrian yang digerakkan dengan kemajuan teknologi enjin stim atau enjin haba. Sadi Carnot sendiri dikenali sebagai bapa termodinamik kerana beliau memulakan kajian enjin haba (Carnot, 1897), walaupun teorinya berdiri dengan andaian yang salah iaitu haba sebagai suatu bendalir kalori terabadi. Namun penemuan beliau mengenai enjin haba berkitaran Carnot (enjin Carnot) mempunyai kecekapan maksimum, masih berlaku. Clausius yang datang setelah Carnot membetulkan hasil kerja Carnot dengan pertimbangan keabadian jumlah tenaga (hukum pertama termodinamik) (Clausius (1879), Müller & Weiss (2005)). Semua sudah sedia maklum bahawa bertambahnya haba Q pada satu-satu jasad (sistem jasad), suhu T jasad akan meningkat. Kuantiti yang seharusnya dipertimbang adalah nisbah haba dengan suhu yang membawa kepada konsep entropi:

huruf d di depan simbol S dan Q adalah untuk merujuk kepada perubahan kecil (kebezaan) bagi kuantiti-kuantiti tersebut. Tidak seperti andaian Carnot (haba terabadi), analisis Clausius menyatakan yang terabadi dalam enjin Carnot adalah entropi (Müller & Weiss, 2005).

Satu lagi ramuan yang diperlukan ialah bahawa haba dengan sendirinya hanya boleh mengalir dari jasad (lebih) panas ke jasad (lebih) sejuk. Dalam analisis Carnot dan Clausius, kecekapan enjin haba umum terhasil akan kurang daripada enjin Carnot. Perkataan ‘kurang’ akan perkenalkan ketaksamaan matematik dalam analisis kecekapan. Tanpa perincian, ketaksamaan tersebut akan membawa ke hukum termodinamik kedua iaitu kadar perubahan entropi akan bertambah:

Implikasi persamaan (2) tidak akan dibincang selepas ini kerana ia melibatkan masalah masa yang lebih besar dan makalah ini tumpukan hanya kepada maksud entropi.

Di liku pertama ini dapat diberi analogi dengan gambar pertama evolusi entropi di atas iaitu seperti melihat masalah sistem termodinamik hanya sebagai tenaga tegangan dalam gelang getah yang ditarik dengan tangan secara mudah. Pada zaman Carnot dan Clausius, mazhab fizik lebih cenderung kepada mazhab energetik yang pentingkan apa yang boleh diukur.

Liku 2: Entropi mekanik statistik bersama Boltzmann dan Gibbs

Pada pertengahan abad ke-19, saintis mula membuat kajian tentang haba yang lebih mekanikal. Termasyhur adalah Boltzmann yang percaya kepada hipotesis atom (sebagai zarah terkecil, mungkin sahaja molekul) dan haba hanyalah perlanggaran antara atom dalam suatu bahan. Bahan seperti gas dengan haba lebih tinggi akan mempunyai kadar perlanggaran lebih tinggi berbanding dengan bahan sejuk yang kurang haba. Berdasarkan gambaran ini, Boltzmann membangunkan suatu persamaan perlanggaran yang dikenali sebagai persamaan Boltzmann. Ramuan penting dalam persamaan tersebut adalah fungsi taburan kebarangkalian f yang menentukan kebarangkalian kedudukan dan/atau momentum satu-satu zarah. Sebagai contoh, taburan Maxwell-Boltzmann bagi gas ideal N zarah dalam isipadu V pada suhu T diberi oleh fungsi momentum

yang mana k adalah pemalar Boltzmann dan m adalah jisim zarah. Perhatikan bahawa fungsi eksponen dalam (3) adalah menyusut secara monoton yang bergantung kepada magnitud tenaga kinetik p²/(2m) dan juga 1/T. Jika diitlakkan ke tiga dimensi, faktor eksponen dalam rumus (3) menjadi hasildarab tiga eksponen. Ciri ini menjadi penting dalam membangunkan fungsi entropi (lihat di bawah).

Bermula dengan persamaan Boltzmann, sumber atau sebutan perlanggaran dalam persamaan tersebut tidak boleh sifar dan bukan negatif. Sumber entropi perlanggaran ini mesti berbentuk fungsi songsangan kepada fungsi kuasa seperti rumus (3). Dengan itu fungsi sesuai akan berbentuk

yang mana A adalah pemalar negatif dan B adalah pemalar sesuai bagi memastikan hujah fungsi logaritma nirdimensi. Sekali gus bentuk fungsi ini memastikan ciri fungsi entropi mempunyai ciri berdaya tambah. Dengan itu bagi versi rumus (3) dalam tiga dimensi akan terlerai kepada tiga sebutan yang melibatkan hasiltambah komponen tenaga kinetik dalam setiap arah tiga dimensi. Sifat sebegini menjadi ciri utama bagi entropi.

Mengikut Boltzmann, bentuk (4) mengisyaratkan bahawa entropi secara umum dapat diberi oleh

yang mana W adalah bilangan mikrokeadaan yang sesuai dengan makrokeadaan termodinamik (contohnya keadaan tenaga yang sama untuk ensembel bermikrokanun). Gibbs pula menyarankan bahawa bentuk (5) dapat ditukar kepada bentuk

yang mana p_j adalah kebarangkalian setiap mikrokeadaan j. Dengan bentuk (6), rumus tersebut dapat diguna dalam pelbagai bentuk ensembel (apa kekangan termodinamik) dan juga keadaan bukan keseimbangan.

Sebelum kita beralih ke liku seterusnya, apakah yang dapat difahamkan dengan entropi Boltzmann dan Gibbs ini. Akibat sifat statistik yang timbul daripada perlanggaran atom, menyebabkan fungsi entropi menjadi fungsi berkebarangkalian dengan atom tersebar mengikut taburan kebarangkalian yang dipakai.

Satu fahaman popular tentang entropi adalah ia dikaitkan dengan ketakteraturan. Fahaman ini diperkuatkan lagi oleh Maxwell, ahli fizik ulung yang seangkatan dengan Boltzmann. Beliau menyatakan,

“Tenaga terlesap adalah tenaga yang kita tidak dapat kawal dan guna mengikut kehendak kita, seperti tenaga agitasi terkeliru yang kita panggil haba. Sekarang kekeliruan, seperti perkataan yang berlawanan iaitu ketertiban, bukanlah sifat benda itu sendiri tetapi hanya berlaku dalam minda si pemerhati.” (terjemahan penulis)

Dengan sokongan saintis dan pempengaruh yang lain, maka berleluasalah fahaman entropi sebagai ukuran ketakteraturan sedemikian sehingga sekarang, terbawa-bawa hingga ke dalam media harian (lihat kartun dalam New Yorker Februari 2015, dipetik oleh Slyer(2019))

Fahaman entropi sebagai ketakteraturan kini telah diganti dengan entropi sebagai darjah kejahilan mengenai sistem. Kefahaman sedemikian tidaklah begitu ganjil jika difahami apabila kita modelkan sesuatu sistem fizik, lazimnya kita akan abai faktor-faktor yang tidak penting walaupun faktor tersebut masih mempunyai peranan dalam ciri mekanik sistem keseluruhan.

Ada dua kritikan mengenai entropi Boltzmann-Gibbs ini: Pertama adalah entropi ini bersandar kepada gambaran perlanggaran atom yang pada masa itu ditentang oleh mazhab energistik kerana atom tidak dapat disahkan secara terus oleh ahli fizik zaman tersebut. Kedua, ketidakteraturan ataupun darjah kejahilan itu sendiri seolah-olah mengatakan entropi itu bersifat subjektif. Kita akan kembali kepada isu ini dalam seksyen yang lain.

Sekembali kepada gambar evolusi entropi di atas: gambar kedua menunjukkan tenaga ketegangan gelung getah mungkin mempunyai konfigurasi silangan getah yang berbeza dan tidak dikesan melalui ketegangan gelung getah,  ini sebagai analogi wujudnya pelbagai mikrokeadaan mekanik statistik sesuai dengan makrokeadaan termodinamik.

Liku 3: Entropi teori maklumat bersama Shannon & Jaynes

Pada tahun 1949, Shannon membuat kajian ke atas ukuran maklumat yang disalurkan melalui suatu talian penghantaran. Maklumat yang dikandungi oleh mesej ini diandai berasaskan n simbol dengan setiap satu simbol s_i berlaku dengan kebarangkalian p_i. Ukuran maklumat yang dicadangkan oleh Shannon adalah fungsi H(p₁, p₂, … ,p_n) seperti berikut:

yang mana K adalah suatu pemalar positif (Shannon, 1948). Bentuk fungsi H dalam (7) adalah berasaskan beberapa syarat terpilih (Shannon (1948), Denbigh & Denbigh (1985)). Yang paling penting bagi tujuan di sini adalah syarat sama kebarangkalian p_i = 1/n yang memaksimumkan H.

Beberapa catatan boleh dibuat di sini:

(i)  Rumus (7) adalah sama secara matematik dengan rumus (6). Namun maksud kebarangkalian dalam (6) dan (7) adalah berbeza.

(ii)  Simbol H diguna oleh Shannon (dan tidak S) adalah untuk memberi penghormatan kepada teorem-H Boltzmann; simbol H merupakan huruf besar bagi huruf Greek eta (h).

(iii)  Von Neumann menyarankan kepada Shannon agar H turut dipanggil sebagai entropi sepertimana rumus Gibbs dalam mekanik statistik di atas.

(iv) Syarat memaksimumkan H adalah sama dengan prinsip kebarangkalian a priori sama dalam mekanik statistik.

(v)  Jaynes mengangkatkan syarat memaksimumkan H sebagai suatu prinsip bagi mencari taburan p_i yang paling kurang pincang, yang kini digelar sebagai Prinsip Inferens Statistik.

Mengenai perkara (i) di atas, menarik sekali untuk tahu apa yang sebenarnya berlaku. Menurut Tribus yang sendiri bertanya kepada Shannon (Tribus & McIrvine, 1971), Shannon membuat kenyataan bahawa,

“Kebimbangan terbesar saya adalah apakah panggilan untuk perkara tersebut.Saya terfikir untuk memanggilnya ‘maklumat’, tetapi perkataan ini terlampau banyak kali digunakan, maka saya bercadang untuk memanggilnya ketakpastian. Apabila saya berbincang dengan John von Neumann, dia berkata, dia ada idea yang lebih baik. Von Neumann memberitahu saya, anda perlu panggilnya entropi berasaskan dua sebab. Pertama, fungsi ketakpastian anda telah diguna dalam mekanik statistik di bawah nama itu, dengan itu, ia sudah pun ada nama. Kedua dan yang lebih penting, tiada siapa yang tahu apakah sebenarnya entropi, maka dalam sesuatu debat, anda akan selalu ada kelebihan” (terjemahan penulis).

Mengenai saranan Von Neumann kepada Shannon terungkap di atas, Denbigh & Denbigh (1985) berpendapat bahawa perkara ini suatu yang malang kerana maksud entropi yang ada aspek fizikal diitlakkan kepada suatu aspek abstrak yang tidak perlu kepada aspek fizikal secara terus. Oleh yang demikian diandaikan bahawa konsep entropi baharu ini dapat diaplikasi kepada pelbagai jenis sistem yang jauh daripada tujuan asal entropi termodinamik atau mekanik statistik seperti aplikasi dalam sistem ekonomi (contoh Fort, 2022).

Shannon (1948) sendiri memberi amaran bahawa penggunaan konsep maklumat dalam teori maklumat adalah lebih teknikal dan tidak merujuk kepada makna mesej yang dihantar sama sekali; aspek semantik tidak diambilkira langsung dalam pertimbangan suatu masalah kejuruteraan. Shannon (1956) mengingatkan penyelidik dalam bidang lain agar memahami bahawa keputusan yang diperolehi dalam teori maklumat adalah sangat khusus dan teknikal, malah menganjurkan bahawa subjek teori maklumat tidak dipopularkan secara berlebihan.

Walaupun Shannon mengingatkan kita supaya berhati-hati dalam penggunaan entropi dalam konteks teori maklumat, tidak pula kita perlu mengenepikan kesamaan struktur matematik dalam bidang berlainan. Malah, langkah pengitlakan konsep adalah suatu yang dialu-alukan dalam pembangunan ilmu, malah ia mungkin menyarankan suatu yang unggul dan terselindung dalam kajian ilmu-ilmu berkenaan.

Langkah pertama yang perlu dibuat adalah menyelarikan konsep entropi dalam mekanik statistik dengan entropi teori maklumat. Ini telah diusahakan oleh Tribus (1961) bersama rakan-rakan (1966) bagi kes termodinamik, didahului oleh Jaynes (1957a,1957b) untuk kes mekanik statistik. Secara kasar, apa yang Jaynes lakukan adalah item (v) di atas, yang mana entropi dibangunkan untuk memaksimumkan darjah kejahilan tentang satu-satu sistem (lihat Jaynes, 2003). Secara tidak langsung pendapat sebegini melontarkan tafsiran kebarangkalian yang subjektif kerana ia perlu merujuk kepada ‘kejahilan’ pengukur atau pencerap. Fahaman sedemikian berlawanan dengan kelaziman pemikiran ahli fizik yang mengharapkan formalisme yang objektif bagi mengungkapkan realiti fizik yang tidak bergantung kepads pengukur atau pencerap (Denbigh & Denbigh, 1985).

Jaynes (2003) juga menyatakan sepertimana Shannon, bahawa konsep entropi dari sudut teori maklumat harus dipisahkan daripada entropi termodinamik ataupun entropi yang berasaskan kuantiti fizik. Sebagai contoh, dalam entropi Gibbs, walaupun berasal daripada termodinamik melalui mekanik statistik, pemaksimuman entropi dilakukan dengan kekangan matematik. Kekangan tersebut hanya boleh difahami setelah wujudnya teori quantum sebagai suatu teori fizik baharu. Perlu diingatkan bahawa teori quantum sendiri mengalami masalah pengukuran bagi menjelaskan aspek kebarangkalian teori tersebut. Kini wujud mazhab Qbism dalam teori quantum, yang menyatakan kebarangkalian dalam teori quantum adalah bersifat subjektif (memerlukan peranan pengukur). Dalam konteks teori quantum, turut menarik diambil perhatian di sini adalah aplikasi prinsip kebarangkalian a priori sama yang memaksimumkan entropi fizik mempunyai aplikasi teori maklumat quantum.

Bagi mengakhiri seksyen liku ketiga yang panjang ini, kita kembali kepada gambar ketiga analogi gelung getah di atas. Jika sebelum ini (liku kedua), tenaga ketegangan mengambilkira konfigurasi silang dalam gelung getah, kini dalam konteks entropi teori maklumat, kita juga perlu mengambilkira konfigurasi lain seperti penglibatan konfigurasi jari yang memegang gelung getah tersebut sebagai analogi peluasan konsep entropi. Dengan itu, ada keperluan melihat konteks bagaimana entropi digunakan.

Liku 4: Entropi Moden Lanjutan – Pengitlakan Entropi

Kini, terdapat banyak konsep entropi ‘baharu’ yang dibangunkan menggunakan aksiom-aksiom yang dianggap semulajadi khususnya aksiom yang boleh menghasilkan semula entropi Boltzmann-Gibbs. Disenaraikan di bawah aksiom yang perlu dipatuhi oleh fungsi H(p₁, p₂, … , p_N) ke atas kebarangkalian p_i (Amigó, Balogh & Hernández, 2018):

(i)  Keselanjaran H terhadap semua pembolehubah p_i;

(ii) Maksimum H untuk set kebarangkalian p_i = 1/N bagi setiap i;

(iii) Kebolehkembangan H iaitu iaitu mana-mana pertimbangan simbol tambahan yang mustahil tidak menukar fungsi H asal.

(iv)  Berdaya tambahan kuat: Bagi gandingan N dan M simbol dengan kebarangkalian yang mana

Keempat-empat aksiom ini dipanggil aksiom Shannon-Khinchin (Ilić & Stanković (2014), Weilenmann, Kraemer, Faist & Renner (2016)). Syarat (iv) adalah syarat paling lazim dilonggarkan dan ia melibatkan konsep kebarangkalian bersyarat.

Antara entropi ‘baharu’ yang dibangunkan adalah entropi Tsallis (Tsallis, 1988). Oleh kerana sifat hasil tambah entropi perlu diubah, ada keperluan untuk mengubah fungsi logaritma dengan parameter canggaan q pada fungsi H yang biasa:

Berbekalkan logaritma baharu ini, entropi Tsallis diberi oleh

Sifat hasil tambah entropi akan berubah kerana

Entropi Tsallis ini berguna untuk memerihal sistem yang mempunyai saling tindakan renj panjang dengan adanya sumbangan saling tindakan kepada entropi. Sebagai contoh ialah dalam rejim bukan usikan sistem kromodinamik quantum (QCD) (lihat Ahmed & Zainuddin, 2026).

Satu lagi entropi ‘baharu’ yang ada kaitan dengan entropi Tsallis serta mempunyai penggunaan dalam teori maklumat quantum ialah entropi Rényi R_q (Ozawa & Javerzat, 2024). Memadai untuk tujuan di sini, hanya kita ungkapkan kaitan entropi Rényi dengan entropi Tsallis:

Banyak lagi kemajuan topik entropi yang tidak disentuh dalam makalah ini seperti kebutiran kasar (Grbaczewski,2006), entropi lohong hitam (Hawking,1993) dan terkini adalah kerangka entropi bolehcerap (Šafránek, Aguirre, Schindler & Deutsch, 2021). Tumpuan seksyen ini hanya menumpu kepada binaan entropi baharu berdasarkan perubahan fungsi logaritma.

Atas sebab di atas, gambar terakhir evolusi entropi di atas menunjukkan binaan struktur gelung getah yang tak mungkin berlaku dengan hanya membuat konfigurasi silang getah dan manipulasi jari. Suatu perubahan drastik perlu berlaku sepertimana perubahan yang berlaku kepada fungsi logaritma dalam entropi.

Kesimpulan

Antara perkara umum tapi mustahak untuk dipelajari adalah maksud suatu konsep saintifik secara umumnya akan berubah mengikut citarasa segolongan besar pengguna pada zaman berkenaan. Begitulah yang terjadi kepada entropi,seperti dibincangkan di atas. Entropi yang asalnya membantu menganalisis enjin haba, berubah kepada aspek ketakteraturan pada lewat kurun 19. Seterusnya, pada zaman teknologi maklumat sekarang, entropi menjadi ukuran kejahilan tentang satu-satu sistem yang lebih sukar untuk difahami. Namun gambaran ketidakteraturan sebagai maksud entropi masih dipegang ramai. Kita perlu berhati-hati dalam penggunaan ketakteraturan di luar konteks lazim fizik, khususnya dalam membincang aspek maklumat yang abstrak. Dalam makalah ini, sudah ditonjolkan betapa penting untuk kembali kepada struktur matematik yang diguna untuk entropi bagi memahami maksud sebenar entropi. Seperti yang diutarakan oleh Shannon (1956), ada keperluan meletakkan standard yang tinggi dalam membuat penafsiran literatur dan penulis berharap makalah ini menepati kehendak ini.

Glosari

Bagi tujuan pemahaman, dilampirkan istilah Bahasa Melayu dengan istilah Bahasa Inggeris yang berpadanan. Turut diberi adalah penjelasan konsep matematik yang ada dipakai dalam makalah ini.

kata awalan – prefix
kata akar – root word
tatatanda – notation
kecekapan – efficiency
enjin stim – steam engine
enjin haba – heat engine
bendalir kalori terabadi – conserved caloric fluid
kitaran Carnot – Carnot cycle
kebezaan – differential
ketaksamaan – inequality
tenaga tegangan – tensional energy/strain energy
gelang getah – rubber band
kadar perlanggaran – collision rate
taburan kebarangkalian – probability distribution
menyusut secara monoton – monotonically decreasing
fungsi songsangan – inverse function
fungsi kuasa – power function
mikrokeadaan – microstate
makrokeadaan – macrostate
kekangan termodinamik – thermodynamical constraints

Contoh fungsi kuasa adalah 10^x yang mana  pembolehubah muncul dalam kuasa. Fungsi songsangan bagi 10^x adalah log₁₀ x iaitu fungsi logaritma bagi x asas 10 yang lazim dibelajar di sekolah. Fungsi eksponen juga adalah fungsi kuasa kerana exp (x) adalah sama dengan bentuk kuasa e^x dan fungsi  songsangannya adalah juga logaritma log_e x yang lazimnya ditulis sebagai ln x yang dipanggil logaritma asli.

berdaya tambah – additivity

Contoh fungsi berdaya tambah adalah fungsi logaritma:  log (xy) = log x + log y.

ensemble bermikrokanun – microcanonical ensemble
ketakteraturan – disorder
tenaga terlesap – energy dissipated
tenaga agitasi terkeliru – confused agitation energy
ketertiban – order
silangan – crossing
darjah kejahilan – degrees of ignorance
ukuran maklumat – information measure
disalurkan – channelled
talian penghantaran – transmission line
hujah fungsi – argument of function
nirdimensi – dimensionless
syarat sama kebarangkalian – equiprobability condition
prinsip inferens statistik – statistical inference principle
prinsip kebarangkalian a priori sama – equal a priori probability principle
paling kurang pincang – least biased
peluasan – enlargement/extension
teori maklumat quantum – quantum information theory
keselanjaran – continuity
kebolehkembangan –  expansibility
berdaya tambahan kuat – strong additivity
kebarangkalian bersyarat – conditional probability
parameter canggaan – deformation parameter
saling tindakan renj panjang – long range interaction
rejim bukan usikan –  nonperturbative regime
kromodinamik quantum – quantum chromodynamics
kebutiran kasar – coarse graining
lohong hitam – black holes
kerangka entropi bolehcerap – observable entropy framework

Catatan: Tiada penggunaan AI dalam penulisan teks makalah kecuali dalam pencarian fakta yang disertai pengesahan penulis. Gambar evolusi entropi dijana dengan bantuan AI.

Rujukan

• A.A. Ahmed & H. Zainuddin, “Nonextensive Statistics and the Finite Volume QCD Phase Transition”, Nucl. Phys. B 1025 (2026) 117386
• M. Amigó, S.G. Balogh & S. Hernández, “A Brief Review of Generalized Entropies”, Entropy 20 (2018) 813
• Benci & G. Menconi, “Some Remarks on the Definition of Boltzmann, Shannon and Kolmogorov Entropy”, Milan J. Math. 73 (2005) 187-209
• Ben-Naim, “Entropy and Information Theory: Uses and Misuses”, Entropy 21 (2019) 1170
• -L.-S. Carnot, Reflections on the Motive Power of Heat, terjemahan & suntingan R.H. Thurston (John Wiley, 1897)
• Clausius, The Mechanical Theory of Heat With Its Applications to the Steam-Engine and to the Physical Properties of Bodies, terjemahan W.R. Browne (Macmillan, 1879)
• G. Denbigh & J.S. Denbigh, Entropy in Relation to Incomplete Knowledge, (Cambridge University Press, 1985)
• DiCastro & R. Raimondi, Statistical Mechanics and Applications in Condensed Matter, (Cambridge University Press, 2015)
• Fort, Forecasting with Maximum Entropy – The Interface Between Physics, Biology, Economics and Information Theory, (IOP, 2022)
• Garbaczewski, “Differential Entropy and Dynamics of Uncertainty”, J. Stat. Phys. 123 (2006) 315-355
• W. Hawking (penyuntng), Hawking on the Big Bang and Black Holes, (World Scientific, 1993)
• M. Ilić & M.S. Stanković, “Generalized Shannon-Khinchin Axioms and Uniqueness Theorem for Pseudo-Additive Entropies”, Physica A 411 (2014) 138-145
• T. Jaynes, “Information Theory and Statistical Mechanics”, Phys. Rev. 106 (1957a) 620-630
• T. Jaynes, “Information Theory and Statistical Mechanics II”, Phys. Rev. 108 (1957b) 171-190
• T. Jaynes, Probability Theory – The Logic of Science, (Cambridge Universoty Press, 2003)
• Ingo Müller & Wolf Weiss, Entropy and Energy – A Universal Competition, (Springer-Verlag, 2005)
• Natal, I. Avila, V.B. Tsukahara, M. Pinheiro & C.D. Maciel, “Entropy: From Thermodynamics to Information Processing”, Entropy 23 (2021) 1340
• Ozawa & N. Javerzat, “Perspective on Physical Interpretations of Rényi Entropy in Statistical Mechanics”, (arXiv: 2404.06436)
• Šafránek, A. Aguirre, J. Schindler & J.M. Deutsch, “A Brief Introduction to Observational Entropy”, Found. Phys. 51 (2021) 101
• E. Shannon, “A Mathematical Theory of Communication”, The Bell Sys. Tech. J. 27 (1948) 379-423, 623-656, dicetak semula dalam Claude Elwood Shannon – Collected Papers, (penyunting) N.J.A. Sloane & A.D. Wyner (IEEE Press, 1993)
• E. Shannon, “The Bandwagon”, IRE Trans. Info. Th. 2 (1956) 3
• Dan Slyer, “Entropy as Disorder: History of a Misconception”, The Physics Teacher 57 (2019) 454-458
• Tribus, “Information Theory as the Basis for Thermostatics and Thermodynamics”, J. Appl. Mech. 28 (1961) 1-8
• Tribus & E.C. McIrvine, “Energy and Information”, Sci. Am. 225 (1971) 179-188
• Tribus, P.T. Shannon & R.B. Evans, “Why Thermodynamics is a Logical Consequence of Information Theory”, A.I.Ch.E. Journal 12 (1966) 244-248
• Tsallis, “Possible Generalization of Boltzmann-Gibbs Statistics”, J. Stat. Phys. 52 (1988) 479-487
• Tsallis, “Entropy”, Encyclopedia 2 (2022) 264-300
• Weilenmann, L. Kraemer. P. Faist & R. Renner, “Axiomatic Relation Between Thermodynamic and Information-Theoretic Entropies”, Phys. Rev. Lett. 117 (2016) 260601