Über Entropie

   





D i s k u s s i o n


 Beitrag 0-116
Warum Entropie uns fehlende Information quantifiziert

 
 

 
Entropie im thermodynamischen Sinne

 
 
Erfunden hat diesen Begriff der deutsche Physiker Rudolf Clausius. Er hat ihn mathematisch definiert als
 
Entropie  =  Wärme dividiert durch Temperatur

 
Hierbei ist Wärme die Summe der kinetischen Energie der sich gegeneinander bewegenden Teile des Systems.
 
Entropie hat eine Eigenschaft, die der ältere Begriff "Energie" nicht hat: Wenn ein System sich selbst überlassen ist, wie etwa eine Tasse Tee auf einer Tischplatte, so wird die Summe der Entropie dieser Portion Tee und der Entropie der Umgebungsluft niemals abnehmen. Diese Beobachtung führte Clausius zur Entdeckung des Zweiten Hauptsatzes der Thermodynamik:
 
Ohne äußere Einflüsse wird die Entropie eines Systems niemals abnehmen.

 
Dieses Gesetz bestätigt sich durch die Beobachtung, dass in einem System ungleichmäßig verteilte Wärme stets aus der Region höherer Temperatur in die Region niedrigerer Temperatur fließt.
 
Sich das präsent zu machen stelle man sich zwei würfelförmige Eisenblöcke gleicher Größe vor. Block B1 sei 100 Grad warm, Block B2 aber nur 1 Grad. Wenn wir sie aneinander rücken, so dass sie sich entlang einer Seite berühren, wird Wärme vom heißeren Block in den kälteren fließen. Die Summe der Wärme-Energie beider bleibt hierbei erhalten,
  • doch wird B1 die Entropiemenge Wärme/Temperatur = 1/100 verlieren,
     
  • während B2 die Entropiemenge 1/1 gewinnt.
Somit steigt die Entropie des Gesamtsystems um 1/1 - 1/100 = 0.99 (sie würde sinken nur dann, wenn die Temperatur aus der kühleren in die wärmere Region flösse).
 
 
Boltzmann war mit all dem noch nicht zufrieden, da er sich die Frage stellte, was das Verhältnis Wärme/Temperatur (Entropie also) denn eigentlich bedeute.
Was man damals schon wusste, war nur:
  • Wärme ist die Bewegungsenergie der chaotisch hin und her fliegenden Atome.
     
  • Temperatur entspricht der mittleren Energie der einzelnen Moleküle.
     
  • Gasdruck ist das Ergebnis der kollektiven Stöße der Moleküle gegen die Wand des Behälters.
Noch rätselhaft aber war das Wesen der Entropie. Man wusste nur, dass die Entropie eines Gesamtsystems sich als Summe der Entropien seiner Teilsysteme darstellt. Zudem kannt man das Ergebnis von vier in diesem Zusammenhang interessanter Experimente (durchgeführt mit 4 Paaren gleicher Glasbehälter mit flachen, rechteckigen Seitenwänden):

     
  • Versuch 1: Man fülle einen der Behälter mit einem farbigen Gas, mit Bromgas etwa, das braun ist, und lasse den anderen leer (gasfrei). Verbindet man die beiden Flaschen dann mit einem Schlauch und öffnet den Durchfluss, so dehnt das Bromgas sich aus und wird schnell den gesamten zur Verfügung stehenden Raum füllen. Da sich die Gasmoleküle nicht sehr oft treffen und von den Wänden wie Tennisbälle elastisch zurückgeworfen werden, behalten sie ihre ursprüngliche Geschwindigkeit, nehmen nun aber doppelt so viel Raum ein wie vorher. Konsequenz daraus: Die Temperatur des Gases bleibt erhalten, sein Druck aber verringert sich.
     
  • Versuch 2: Man fülle zwei der Flaschen mit Wasser: eine davon mit heißem, die andere mit kaltem und presse sie dann aneinander. Wie oben schon beschrieben wird eine Wärmeausgleich stattfinden: Die sich schneller bewegenden Moleküle werden langsamer, die langsameren werden schneller.
     
  • Versuch 3: Das dritte Paar von Flaschen fülle man mit zwei verschiedenen Gasen, die eine mit Brom (braun), die andere mit Luft (farblos). Verbindet man ihre Öffnungen mit einem Schlauch und öffnet den Durchfluss, werden die beiden Gase sich vermischen, bis schließlich der gesamte Innenraum der Flaschen einheitlich mit einenr schwach-braunen Mischung aus Brom und Luft gefüllt ist.
     
  • Versuch 4: Das vierte Flaschenpaar fülle man mit Brom gleicher Temperatur und so, dass der Druck in beiden Flaschen gleich groß ist. Nachdem die Verbindung geöffnet ist, sieht man keinerlei Veränderung, obgleich auch jetzt viele Moleküle von der einen in die jeweils andere Flasche wandern.

 
In allen 4 Versuchen bleibt die in den Flaschen enthaltene Gesamtenergie konstant. Die Entropie im Inneren des Flaschenpaars wird in Versuch 1, 2 und 3 steigen,
in Versuch 4 aber konstant bleiben. Was nun ist der Grund hierfür?
 
Hier nun hatte Boltzmann die Eingebung, die ihn bekannt gemacht hat: Er sah den Unterschied in der  A n o r d n u n g  der Moleküle zu Beginn und nach Ende der Experimente, und ihm wurde bewusst: Ein zufälliger Prozess würde mit sehr viel größerer Wahrscheinlichkeit zu einer Anordnung der Moleküle führen, wie sie nach dem Experiment vorliegt, statt zu einer, wie sie zu Beginn vorlag.
 
Wieso aber verändert Versuch 4 die Entropie des Gesamtsystems nicht (wo wir doch wissen, dass auch hier viele Moleküle aus der einen in die andere Flasche gelangen und so doch auch zu einem neuen Zustand des Systems führen)?
 
Der Grund hierfür: Der Beobachter hat keine Möglichkeit, diese beiden verschiedenen Zustände von einander zu unterscheiden (weder durch Hinsehen, noch mit chemischen oder physikalischen Verfahren). Die Tatsache, dass die Entropie in Versuch 4 unverändert bleibt, ist deutlicher Hinweis darauf, dass sie nur etwas mit dem zu tun haben kann, was wir über das System  w i s s e n .
 
 
Genau das ist der Grund, warum man Entropie auch mit Unordnung (= fehlender Information) gleichsetzt.
 
Boltzmann sah diese Beziehung und führte sie noch weiter aus: Der Wert der Entropie eines Systems wächst von Null (wenn wir alles über den Systemzustand wissen) bis hin zu einem Maximalwert (der dann eintritt, wenn wir praktisch nichts wissen): Entropie quantifiziert das Ausmaß unseres Unwissens über die Einzelheiten der Bewegungen gegen einander beweglicher Teile des Systems.
 
 
Über diesen Umweg — die Identifikation von Entropie mit fehlender Information — brachte Boltzmann das Konzept der Information in die Physik.
 
Dass er dann zu seiner berühmten Formel
 
Entropie  =  k • log( Z )

 
gelangt ist (mit Z als Anzahl aller möglichen Systemzustände), liegt daran, dass
  • die Formel verträglich sein musste mit der Tatsache, dass die Entropie der Teilsysteme eines Systems die Summe der Entropien der Teilsysteme ist — und das obgleich doch die Anzahl aller Zustände des Gesamtsystems das  P r o d u k t  der entsprechenden Zahlen für die Teilsysteme ist.
     
  • Die Boltzmann-Konstante k schließlich ist einfach nur ein Normierungsfaktor, der Boltzmanns Quantifizierung der Entropie verträglich macht mit der von Clausius (Entropie = Wärme/Temperatur).

 
 
 
Entropie im informationstechnischen Sinne

 
 
Die Physik — so schreibt Honerkamp — versteht unter Entropie das Ausmaß uns fehlenden Wissens über dem Mikrozustand eines physikalischen Systems:
Je mehr Mikrozustände (z.B. einer Menge von Gas) möglich sind, desto unwahrscheinlicher wird es, dass ein ganz bestimmter vorliegt, und desto höher ist deswegen die Entropie des Systems der sich unabhängig voneinander bewegenden Teilchen.
 
Informationstechnisch präzisiert man das wie folgt:
 
 
Bezeichnet Z die Zahl aller einem System möglichen Zustände, so ist
 
 
log2( Z ) sein maximal möglicher Informationsgehalt.

 
Als informationstechnische Entropie des Systems (synonym: Unordnung) bezeichnet man den Teil dieser Information, der sich einem Beobachter nicht erschließt, wenn es Systemzustände gibt, die aus seiner Sicht ununterscheidbar sind.
 
Man sieht also:
 
Der Begriff » Information « ebenso wie die Gleichung
 
Informationgehalt = maximal möglicher Informationsgehalt abzüglich Entropie
 
machen erst Sinn, wenn man einen betrachtenden, denkenden Menschen ins Spiel bringt: Sie sind nur relativ zu ihm wohldefiniert.

 
 
 

Note: Physiker tun sich häufig schwer mit dem Entropiebegriff. Dies aber nur dann, wenn ihnen nicht bewusst ist, dass er sich aus informationstechnischer Sicht heraus eben doch ein klein wenig anders definiert als in der Thermodynamik.
 
 
Bücher, die sich ganz dem Nachdenken über das Wesen der Information widmen, sind:

 

 Beitrag 0-154
Entropie korrespondiert mit Systemkomplexität

 
 

 
Entropie korrespondiert mit Systemkomplextität

und auch mit der Genauigkeit, mit der man den jeweiligen Systemzustand kennt

 
 
Ist S ein in sich abgeschlossenes System und Z(t,S) sein Zustand zum Zeitpunkt t, so macht es Sinn, unter der Kompexität K(t,S) von S zum Zeitpunkt t die Länge der kürzesten Bitfolge zu verstehen, über die sich der Zustand Z(t,S) komplett beschreiben lässt.
 
 
Je komplexer die einem System möglichen Zustände sind, desto höher kann
 
seine Entropie (im informationstechnischen Sinne) sein.

 
 
Note: Entropie ist eine  s u b j e k t i v e  Größe: Sie ist umso kleiner, je genauer der Beobachter den Systemzustand kennt.

 

 Beitrag 0-260
Entropie und der thermodynamische Zeitpfeil: Boltzmanns Theorie

 
 

 
Entropie und der Zweite Hauptsatz der Thermodynamik

erklärt durch Klaus Mainzer

 
 
Boltzmanns statistisch-mechanischer Ansatz bestand darin, das makroskopische Geschehen durch mikroskopische Vorgänge mit sehr vielen Teilchen und sehr vielen Freiheitsgraden zu erklären:
 
Ein beobachtbarer Makrozustand — beschrieben durch ortsabhängige Dichte, Druck, Temperatur — kann i.A. durch eine große Anzahl Z von Mikrozuständen verwirklicht werden.
 
Nach Boltzmann ist  die Entropie  S = k • ln( Z )  des Makrozustandes eines Systems ein Maß für die Wahrscheinlichkeit, mit der sich die Moleküle eines Gases so gruppieren, dass es den beobachtbaren Makrozustand einnimmt.
 
 
Boltzmann wies darauf hin, dass der 2. Hauptsatz der Thermodynamik — welcher sagt, dass die Entropie geschlossener Systeme niemals abnimmt — nicht allein aus den Gesetzen der Mechanik folgt, sondern nur gelten kann unter der zusätzlichen Annahme einer extrem unwahrscheinlichen Anfangsbedingung.

     
    Ungleichmäßige Verteilungen gehen dann in Gleichverteilung über.
     
    Im allgemeinen ändert eine zeitliche Umkehr der mikroskopischen Bewegungen nichts an der Konvergenz hin zur Gleichverteilung.
     
    Der 2. Hauptsatz gilt also nicht mit Sicherheit, sondern stets nur mit extrem großer Wahrscheinlichkeit.
     
    Zudem sind irreversible Vorgänge nur besonders häufig und wahrscheinlich, ihre Umkehrung aber selten und unwahrscheinlich.

 
Insbesondere lässt der 2. Hauptsatz lokal Abweichungen (Schwankungen, Fluktuationen) zu, deren experimentelle Bestätigung Boltzmann nicht mehr bewusst miterlebt hat: 1905 zeigte Einstein, dass die den Botanikern damals schon lange bekannte Brownsche Bewegung Fluktuationen darstellt, welche lokale Durch­brechungen des durch den 2. Hauptsatz postulierten Wahrscheinlichkeitstrends darstellen: Mikroskopische, in einer Flüssigkeit aufgeschwemmte Teilchen zeigen, dass sie von Atomen zufällig einmal von einer, dann von einer anderen Seite stärker angestoßen werden. Es kommt so zu einer regellosen Zitterbewegung, obgleich sich doch aller Wahrscheinlichkeit nach die Stöße voll kompensieren müssten.

 
 
Über den thermodynamischen Zeitpfeil

 
Poincaré und Zermelo betonten (1896), dass jeder Zustand eines mechanischen Systems mit endlich vielen Freiheitsgraden sich irgendwann wiederholen — oder wenigstens annähernd wiederholen — müsse. Da also sämtliche Zustände wenigstens annähernd wieder neu eintreten, könne es einen Zeitpfeil, der mit Entropiezunahme verbunden ist, nicht geben.
 
Boltzmann begegnete dieser Argumentation mit dem Einwand, dass mit zunehmender Zahl der Freiheitsgrade die Wiederkehrzeiten extrem lang würden.
 
Insgesamt, so Boltzmann, komme man zum Ergebnis, dass die Gesetze der Mechanik zeitlich reversibel, das wirkliche Geschehen aber nahezu irreversibel sei.
 
Es gebe also 2 Möglichkeiten:
    1. Die Welt könne aus einem sehr unwahrscheinlichen Anfangszustand weit weg von Gleichverteilung entstanden sein.
     
    2. Wenn die Welt nur groß genug ist, gibt es irgendwo starke Abweichungen von der Gleichverteilung.

Bei der Auflösung solche außergewöhnlicher Zustände ist der Prozess einsinnig und wird als Zeitpfeil empfunden.
 
Nach Boltzman gibt es also gar keine ausgezeichnete Zeitrichtung.
 
 
Die Tatsache, dass wir Menschen ein Zeitbewusstsein haben, könnte — so hat man dann aus Boltzmanns Theorie gefolgert — gut darauf zurückzuführen sein, dass der Bereich des Universums, in dem wir leben, noch weit vom Gleichgewicht entfernt ist.
 
Die am ehesten geeignete Grundlage einer Theorie des Lebens wäre dann eine Thermodynamik des Nicht-Gleichgewichts.

 
 
Quelle: Klaus Mainzer: Zeit — von der Urzeit zur Computerzeit, Beck'sche Reihe (1995, 2011), S. 76-79.

 

  Beitrag 1948-39
Entropie und Informationskapazität werden mit derselben Elle gemessen

 
 
Henry aus 1948-37:
Nein, ich sprechen NICHT von Information im nachrichtentechnischen Sinne, sondern von Information bzg. auf die Thermodynamik. Die Entropie beschreibt das abgeschlossene System, das sich stetig durch permanente Umwandlung aller Energien in Wärmeenergie einem Zustand minimaler Information und maximaler Entropie zubewegt.

Hi Henry,

du scheinst noch nicht realisiert zu haben, dass die Begriffe

» Entropie « und » fehlender Informationsgehalt « gleiche Definition haben.


Es ist zudem falsch zu glauben, dass das System durch "ständige Umwandlung aller Energien" einem Zustand mit minimalem Informationsgehalt zustrebt.

Richtig ist: Der Bewegung seiner Teilchen wegen wechselt das System ständig seinen Zustand. Und hierbei ergibt sich, dass der neue Zustand i.A. einer ist, der weniger Informationsgehalt hat als der ursprüngliche. Ursache hierfür ist: Es gibt deutlich mehr Zustände, die anderen gleichen, also Zustände, die recht individuell aussehen (und daher hohen Informationsgehalt haben).

Gruß, grtgrt
 

  Beitrag 1948-46
Voraussetzung für die Anwendbarkeit des 2. Hauptsatzes der Thermodynamik ist ...

 
 
Thomas der Große aus 1948-42:
 
Jedenfalls wäre es toll, wenn Du Deinen Erhaltungssatz an Beispielen erläutern könntest.


Hi Thomas,

ein ganz zentrales Beispiel ist der 2. Hauptsatz der Thermodynamik. Er stellt fest:


Ein großes System von Teilchen, die sämtlich ein und denselben Freiheitsgrad haben,

wechselt schrittweise all seine kybernetisch dargestellte Information (Ordnung also) in nachrichtentechnisch dargestelle um.



Die Vorbedingung, dass sämtliche Teilchen des Systems denselben WDDF haben, ist notwendig, wie folgendes Beispiel zeigt:

Nimm an, du hast einen großen, mit Wasser gefüllten Topf, in den man dann eine gute Portion sehr feinen Quarzsand gibt und gut umrührt. Nachdem der Sand sehr fein ist, wird er sich beim Umrühren fast gleichmäßig im Wasser verteilen, so dass, wenn man das Rumrühren aufhört, ein System "braune Brühe" existiert, welches fast schon maximal mögliche Entropie hat (d.h. fast alle darin enthaltene Information liegt in nachrichtentechnischer Form vor).

Nachdem man den Topf dann aber einige Stunden oder gar Tage in Ruhe hat stehen lassen, werden sich die Sandteilchen — da ihr spezifisches Gewicht größer ist als das von Wasser — fast alle ganz am Boden des Topfes befinden, und das Wasser drüber wird klar und rein sein.

Das, so denkt man zunächst, widerspreche dem 2. Hauptsatz der Thermodynamik. In Wirklichkeit aber ist dem keineswegs so:

Da nämlich jedes Sandteilchen höheres Gewicht als ein Wasseratom hat, zerrt die Gravitationskraft an jedem einzelnen Sandteilchen viel mehr als an jedem einzelnen Wasser­atom. Die Voraussetzung also, dass sämtliche gegeneinander beweglichen Teilchen im Topf identischen WDDF haben müssen, ist NICHT gegeben, und so lässt sich der Satz gar nicht erst anwenden (!).


Gruß, grtgrt
 

  Beitrag 1951-7
Systemkomplexität

 
 
C... aus 1951-6:
 
hast du den Begriff "Komplexität" definiert?
Hat ein hoch komplexes System (z.B. ein Lebewesen oder ein Gehirn) demnach hohe Entropie?


Hi C...,

unter "Komplexität" verstehe ich, was man im umgangsprachlichen Sinne (ohne eigene Definition also) darunter versteht.

Wenn ich dennoch eine Definition geben muss, so sage ich:


Ein System S1 heißt  komplexer als  ein System S2,

wenn für S1 ein Zustand denkbar ist, der höhere Entropie hat als jeder dem S2 mögliche Zustand.



Begründung: Die Komplexität eines Systems steht und fällt mit seiner Fähigkeit, Information festzuhalten. Es macht daher Sinn, zu definieren:


Unter der Komplexität eines in sich abgeschlossenen Systems versteht man seine Kapazität als Informationsspeicher.



ber die Schwierigkeit, sie zu quantizifieren, spricht Beitrag 1951-22.


C... aus 1951-6:
 
M.E. benötigt man zunächst mindestens zwei Systeme mit verschiedenen Unterscheidungskriterien: z.B. einen Mikrozustand und einen Makrozustand.
In System 1 unterscheidbare Zuststände (Mikrozustände) müssen im System 2 (Makrozustand) ununterscheidbar sein.

Im genannten Beispiel zweier verschiedener Systeme können dieselben Makrozustände somit durch verschiedene Mikrozustände realisiert werden.
Je mehr Mikrozustände denselben Makrozustand realisieren, umso wahrscheinlicher ist der Makrozustand.
Die Entropie des Makrozustands ist dann proportional dem Logarithmus der Anzahl der Mikrozustände, die ein und denselben Makrozustand repräsentieren.

Was du hier sagst, verstehe ich nicht. Kannst du mir das genauer erklären ( und begründen bzw. motivieren )?

Gruß,
grtgrt
 

  Beitrag 1951-15
Beispiele (1) und die implizite Voraussetzung im 2. Hauptsatz der Thermodynamik

 
C... aus 1951-12:
Grtgrt aus 1951-7:
Ein System S1 heißt  komplexer als  ein System S2,

wenn für S1 ein Zustand denkbar ist, der höhere Entropie hat als jeder dem S2 mögliche Zustand.


Ich fürchte, dem kann ich nicht folgen.
Du hattest doch versucht, Entropie über den Begriff "Komplexität" zu definieren.
Wenn du jetzt "Komplexität" über den Begriff "Entropie" definierst, drehst du dich im Kreis.

Hi C...,

ich will nicht einen Begriff mit Hilfe des anderen definieren, sondern will einfach nur sagen, dass beide Begriffe dasselbe meinen (steht ja schon so im Titel diesen Themas).

Du wirst mich jetzt fragen: Ja warum gibt es dann zwei Worte? Nun, das liegt einfach nur am Sprachgebrauch, der sich da eingebürgert hat. Von "Entropie" wurde zunächst nur in der Theorie der Gase gesprochen, in der Thermodynamik also.

Heute muss man das so sehen:
  • Der Begriff "Komplexität" ist der umgangssprachliche. Er ist auf alle Systeme anwendbar.
  • Wo man statt seiner den Begriff "Entropie" verwendet, bedeutet das, dass man damit implizit mit sagt, dass man von einem System spricht, in dem alle gegen einander beweglichen Teile denselben oder fast denselben WDDF (Well Defined Degree of Freedom) haben — eben ganz so, wie das typischerweise in einer Gaswolke der Fall ist.

Letzteres gerät heute allzu oft in Vergessenheit, und dabei erklärt sich doch nur so, dass z.B. ein Ei leicht vom Tisch fällt und am Boden zerschellt, das Umgekehrte aber gar nicht vorkommt: Kein zerborstenes Ei setzt sich rein nur vom Zufall gesteuert wieder schön zusammen um sich dann sogar noch auf den Tisch hinauf an die alte Stelle zu begeben.

Siehe auch mein nicht ganz so burschikos gewähltes Beispiel in Beitrag 1948-46.


C... aus 1951-12:
 
Ist deiner Definition gemäß für ein Gehirn ein Zustand denkbar, der höhere Entropie hat, als diejenige eines Proteindrinks gleicher mikroskopischer Zusammensetzung und Masse?

Das würde ich eher verneinen, denn die Atome unseres Gehirns sind in ihrer Bewegungsfreiheit mit Sicherheit weit weniger frei als die in einer Flüssigkeit, und sei es denn ein Proteindrink.

Darüber, wie komplex ein Gehirn ist, sagt diese meine Meinung aber gar nichts aus (man vergleiche die Diskussion in Beitrag 1951-22).


Beste Grüße,
grtgrt
 

  Beitrag 1951-17
-

 
Grtgrt aus 1951-7:
Ein System S1 heißt  komplexer als  ein System S2,

wenn für S1 ein Zustand denkbar ist, der höhere Entropie hat als jeder dem S2 mögliche Zustand.

Hallo Gebhard, nee, oder?
Da habe ich ein genau entgegengesetztes Verständnis, welches ich gern immer anhand unseres menschlichen Hirns erläutere:

Das menschliche Gehirn ist die komplizierteste, komplexeste Struktur, die wir kennen. Sie ist die am weitesten von Entropie entfernte Struktur (vergleicht man sie z.B. mit einem sich selbst überlassenen Gasgemisch, wo die Entropie den maximal möglichen Wert hat).
Ein Hirn ist zweifellos komplexer als ein Gasgemisch.

(Natürlich kann man das Leben an sich in seiner Vielfalt als noch komplexer auffassen, aber das tut für meine Erläuterung erst mal nix zur Sache.)

Oder hab ich dich und deine Ausführungen irgendwo falsch verstanden?
 

  Beitrag 1951-19
-

 
Stueps aus 1951-17:
 
Das menschliche Gehirn ist die komplizierteste, komplexeste Struktur, die wir kennen. Sie ist die am weitesten von Entropie entfernte Struktur (vergleicht man sie z.B. mit einem sich selbst überlassenen Gasgemisch, wo die Entropie den maximal möglichen Wert hat).
Ein Hirn ist zweifellos komplexer als ein Gasgemisch.

Oder hab ich dich und deine Ausführungen irgendwo falsch verstanden?

Hi Stueps,

du hast schon recht, aber du sprichst nicht nur über aus Unordnung kommendem Informationsgehalt (dem nachrichtentechnisch kodierten, den wir Entropie nennen), sondern auch über den aus Ordnung resultierenden (dem kybernetisch kodierten).

Siehe Beitrag 1948-1.


Gruß, grtgrt
 

  Beitrag 1951-18
Beispiele (2)

 
 
C... aus 1951-12:
 
Zitat von Grtgrt:
Was du hier [Anm.: d.h. C... in Beitrag 1951-6 sagst, verstehe ich nicht. Kannst du mir das genauer erklären ( und begründen bzw. motivieren )?

Bilde mittels "System 1" systematisch 6-stellige Zahlen, indem du z.B. 6 mal würfelst. Die Wahrscheinlichkeit, eine 111111 zu würfeln, ist dieselbe wie diejenige, eine 355621 (in dieser Reihenfolge) zu werfen.
Du kannst nun ein übergeordnetes Ordnungssystem ("System 2") festlegen, in welchem du z.B. 111111 oder 555555 als ein 'Sextett' bezeichnest. Die Ziffernfolge z.B. 55 oder 33 innerhalb einer beliebigen sechstelligen Zahl bezeichne als Duplett.

Mit diesem Ordnungssystem ist nun die Wahrscheinlichkeit ein Sextett (wozu auch 111111 gehört) zu würfeln, geringer, als diejenige ein Duplett (wozu auch 355621 gehört) zu würfeln, weil es nur 6 von 6^6 Möglichkeiten für ein Sextett gibt, während es 30*6^4 von 6^6 = 5/6 (ob´s stimmt, wirst du besser wissen - jedenfalls mehr) Möglichkeiten gibt, ein Duplett zu erhalten.

Die Entropie eines Dupletts ist mit S = k*log(W) somit höher als die eines Sextetts.


C...,

mir scheint, du willst mich aufs Glatteis führen!

Oder willst du einfach nur sehen, ob ich den Unterschied zwischen bedingter und nicht-bedingter Wahrscheinlichkeit kenne?

Sei's drum. Meine Defininition sagen, dass für jeden Systemzustand Z gilt:


Entropie
= Komplexität
= nachrichtentechnischer Informationsgehalt
= kleinste Zahl binärer Entscheidungen, die ausreichen, den Zustand Z komplett zu beschreiben



Wann aber ist Z als Sextett oder als Duplett komplett beschrieben?

Die Antwort auf diese Frage ist ganz klar davon abhängig, ob ich ein konkretes Duplett (bzw. Sextett) als Duplett (bzw. Sextett) von anderen gleicher Art unterscheiden soll, oder ob ich einen Zustand dieser Art von irgendeiner 6-stelligen Folge der 6 Ziffern 1 bis 6 zu unterscheiden habe.

Für welchen Fall also willst du, dass ich dir den nachrichtentechnischen Informationsgehalt berechne?

  • Ein Sextett von anderen Sextetts zu unterscheiden, erfordert 3 binäre Entscheidungen.
  • Ein Duplett von anderen 6-stelligen Dupletten zu unterscheiden erfordert mindestens 35 binäre Entscheidungen erfordern (kann aber – je nach Exemplar – auch 3 mal so viel erfordern [ wir betrachten Folgen, nicht Mengen, gewürfelter Ergebnisse ).
  • Ein Sextett oder ein Duplett als Element des kartesischen Produktes { 1,2,3,4,5,6 }6 zu identifizieren, erfordert stets 36 binäre Entscheidungen.


Nun zur spannenden Frage, warum das so ist: Ganz einfach:

  • Im ersten Fall hat das betrachtete System nur 6 Elemente (jedes in stark redundanter Codierung),
  • im zweiten Fall hat es 65 (Redundanz in ihrer Codierung haben nur jene, in denen erst die beiden letzten Ziffern gleich sind)
  • und im letzten Fall hat das System sogar 66 Elemente (alle redundanzfrei codiert).

Dieses Beispiel zeigt, so finde ich, recht deutlich, wie sich der konkret zugelassene WDDF auf die Komplexität des Systems auswirkt: Mehr Freiheit führt zu mehr durch das System darstellbaren Nachrichten.

Man erkennt auch, dass nicht die Form der Codierung eines Zustandes, sondern nur der Zustand selbst (als Abstraktum) zur Zahl der durch das System kodierbaren Nachrichten beiträgt.


Gruß, grtgrt
 

  Beitrag 1959-1
Die genaue Formulierung des Entropie-Gesetzes

 
 


Zustandsentropie und Entropie-Entwicklung geschlossener Systeme


Sei S ein in sich abgeschlossenes System — z.B. unser Universum — und seien weiter Z1 und Z2 zwei diesem System mögliche Zustände.



Man nennt Z2 von höherer Entropie als Z1,

wenn es dem System leichter fällt, sich aus Zustand Z1 nach Zustand Z2 zu begeben als umgekehrt von Z2 nach Z1.



Diese Definition verallgemeinert den 2. Hauptsatz der Thermodynamik ( dessen Voraussetzungen nur für Gase erfüllt sind ) auf ganz beliebige, in sich abgeschlossene Systeme.


Nur diese Definition des Entropie-Begriffs ist verträglich mit beidem:

  • einerseits mit der Aussage, dass die Entropie eines in sich abgeschlossenen Systems stets nur zunimmt (extrem selten auftretende Zustandsübergänge mal ausgenommen)
  • und andererseits auch mit den bekannten Tatsachen,
    • dass sich im Universum Materie zu Klumpen (Planeten, Sternen, Galaxien) gruppiert
    • und kein vom Tisch gefallenes und dann am Boden zerschelltes Ei sich von selbst wieder zusammensetzt.
       
    • Mit der Tatsache also, dass alle im System vorhandenen Teile sich entsprechend der dort ebenfalls vorhandenen Kraftfelder gruppieren unter Berücksichtigung gegebener oder nicht gegebener Freiheitsgrade (automatischer Abbau von Ungleichgewicht).


Gebhard Greiter (grtgrt)
 

  Beitrag 1959-3
-

 
 
Pepe aus 1959-2:
 
Wo siehst Du denn eine Unverträglichkeit zwischen dem 2. Hauptsatz und den Punkten die du nennst?

Wo sich Materie zusammenklumpt, entsteht bleibende Struktur (und somit kybernetisch kodierte Information).
Das steht im Widerspruch zum 2. Hauptsatz der Thermodynamik, nach dem sich ja alle Teilchen im Gesamtsystem immer gleichmäßiger verteilen müssten.

Gruß, grtgrt
 

  Beitrag 1959-5
-

 
 
Henry aus 1959-4:
 
Entropie ist ... das Maß für die Anzahl der möglichen Zustände, die ein System ohne äußere Einwirkung einnehmen kann; und jeder dieser möglichen Zustände ist gleich wahrscheinlich.

Hi Henry,

diese Formulierung deiner letzten Aussage kann so nicht richtig sein, denn wäre sie richtig, würde daraus folgen, dass die Entropie eines Systems eine (für das System spezifische) Konstante wäre.

Das aber kann nicht sein, denn der 2. Hauptsatz der Thermodynamik sieht sie als zustands-spezifische Größe (als Maß für die "Ordnung" bzw. "Unordnung" des Systems, wie du weiter oben ja selbst sagst). Wahrscheinlich aber wolltest du ja sagen:


Je größer die Anzahl möglicher Zustände, die ein System ohne äußere Einwirkung annehmen kann,
desto größer ist die  m a x i m a l e  durch dieses System unterstützte Entropie.


Was nun einen einzelnen Systemzustand betrifft, so würde ich sagen:


Die Entropie eines Systemzustandes Z ist proportional zur Anzahl aller dem System möglichen, von Z nicht unterscheidbaren Zustände.


Meiner Ansicht nach gilt der 2. Hauptsatz der Thermodynamik so aber nur für Gase (noch genauer: nur für ideale Gase). Für andere Systeme muss man ihn differenzierter formulieren, was aber leider nur in wenigen Büchern wirklich passiert.


Gruß, grtgrt


PS: Von Zuständen zu sprechen, die von Z nicht unterscheidbar sind, macht nur Sinn, wenn man den einzelnen Teilchen eine jeweils eigene Identität einräumt (so dass, wenn zwei — die ansonsten wie Zwillinge gleiche Eigenschaften haben — ihren Platz vertauschen, das zu einem neuen Zustand führt). In der Quantenphysik allerdings würde man diese beiden Zustände als ein und denselben betrachten.

Meine Formulierung in Beitrag 1959-1 umgeht dieses Problem (ist also unabhängig davon, ob jemand nicht unterscheidbare Zustände des Systems miteinander identifiziert oder nicht).


 

  Beitrag 1959-10
-

 
 
Henry aus 1959-9:
 
JEDEM Zustand des Systems kann ein Wert der Entropie zugeordnet werden, das ist allein abhängig von der Gesamtzahl ALLER möglichen Zustände und hat nichts mit der Größe der Ordnung in einem System zu tun. Nur scheint es in unserem Kosmos so zu sein, dass die Wahrscheinlichkeit, einen Zustand größerer Unordnung einzunehmen, größer ist als Zustände größerer Ordnung. Das hat aber mit der Anzahl der Zustände zu tun, die eine größere Unordnung repräsentieren, diese Anzahl ist sehr viel größer als die Anzahl geordneter Zustände, und deshalb ist die Wahrscheinlichkeit, in einem "Schnappschuss" in einer Gaswolke einen Zustand von Unordnung zu machen größer als für einen Zustand von Ordnung.

Nachtrag auf eine Gaswolke bezogen: Auch wenn keine anderen Kräfte in der Wolke vorliegen als die kinetischen, also die Bewegung der Moleküle, gibt es eine Wahrscheinlichkeit, dass sich die Gesamtzahl der Moleküle in eine Raumbereich ansammelt und so eine gewisse Ordnung entsteht. Und diese Anordnung hat die gleiche Wahrscheinlichkeit wie jede ander Anordnung auch. Die Wolke befindet sich ständig in einem neuen Zustand, nur lassen sich die einzelnen Zustände wegen der größeren Anzahl von "unordentlichen" Zuständen nicht voneinander unterscheiden.

In der kosmischen Realtät sieht es aber anders aus: Bei entsprechend niedrigen Temperaturen und der Gravitation innerhalb der Gaswolke wird sich eine Gaswolke zusammenziehen und es entsteht ein Stern. Und korrekter Weise dürfte man nicht einfach von "Gaswolken" sprechen, denn es ist natürlich nicht nur Gas, sondern es sind auch Staub in riesigen Mengen und Gesteinsbrocken, die sich in einer solchen Wolke finden.
 

Hi Henry,

so formuliert stimme ich dir zu (ohne jede Einschränkung).


Vielleicht interessiert dich noch, was Andreas Mücklich in seinem Buch "Das verständliche Universum" sagt. Er schreibt dort:

Zitat von Mücklich, aus Seite 51 und 52 seines Buches:
 
Sie [die Entropie beschreibt ganz allgemein, wie wahrscheinlich ein bestimmter Ablauf geschieht. ...

Oft wird die Entropie sehr nachlässig als ein Maß für die Unordnung bezeichnet. Demnach nähme gemäß dem zweiten Hauptsatz der Wärmelehre die Unordnung im Universum ständig zu. Bei dieser oberflächlichen Argumentation kann man sich nur wundern, wie Sterne, Planeten und Leben überhaupt entstehen konnten.

Und doch steht die Entropie diesen Prozessen nicht im Weg, denn sie wird durch den Begriff der Unordnung im Sinne der Gleichverteilung leider nicht ausreichend beschrieben:
  • Für die zusammenstoßenden Teilchen eines idealen Gases mag dies noch korrekt sein. Hier wirken keine Kräfte zwischen den Teilchen, und der wahrscheinlichste Zustand ist ein gleichmäßig durchmischtes Gas.
  • Aber wenn wir Körper betrachten, zwischen denen eine anziehende Gravitationskraft wirkt, so stimmt dieses Bild nicht mehr. Jetzt können Zustände mit höherer Entropie auch klumpiger sein als mit niedriger Entropie. Ein Planet ist demnach ein Körper mit einer höheren Entropie als seine ursprünglichen Bestandteile und keineswegs ein Widerspruch zum zweiten Hauptsatz der Thermodynamik.

Gruß, grtgrt
 

tags: Entropie1gegreit Zustand1gegreit Systems1gegreit