A entropia de transferência é uma medida estatística não paramétrica que mede a quantidade de informação direcional que é transferida entre dois processos aleatórios.^[1][2][3][4] A entropia de transferência de um processo X para outro Y é definida como a redução da incerteza sobre os valores futuros de Y quando se conhecem os valores passados de X dados valores passados de Y.

Matematicamente, sejam ${\displaystyle X_{t}}$e ${\displaystyle Y_{t}}$ dois processos aleatórios definidos no tempo ${\displaystyle t\in \mathbb {N} }$. Utilizando a entropia da informação de Shannon, H(X), a entropia de transferência pode ser calculada como:

${\displaystyle T_{X\rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:t-L}\right)-H\left(Y_{t}\mid Y_{t-1:t-L},X_{t-1:t-L}\right).}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

Alternativamente, a entropia de transferência pode ser descrita em termos da informação mútua condicional,^[5][6] aonde o termo condicionado é o passado da variável Y, isto é, ${\displaystyle Y_{t-1:t-L}}$:

${\displaystyle T_{X\rightarrow Y}=I(Y_{t};X_{t-1:t-L}|Y_{t-1:t-L}).}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

A entropia de transferência torna-se o teste de causalidade de Granger quando o processo é autoregressivo e satisfaz as condições para causalidade de Granger.^[7] Desta forma, torna-se mais adequado utilizar a entropia de transferência para o teste de causalidade de Granger quando o sinal é não-linear.^[8][9] O ponto negativo desta abordagem é a necessidade de um maior número de amostras para uma estimativa confiável do valor obtido.^[10]

Embora tenha sido definido para análise bivariada, existem extensões da entropia de transferência para análise multivariada, seja criando condicionais às demais variáveis^[11] ou considerando a transferência de informação de um conjunto de fontes.^[12] Porém, ambas as alternativas exigem mais dados.

A entropia de transferência tem sido aplicada na investigação de conectividade funcional no cérebro e em sistemas de neurônios^[12][13][14], medir a influência de indivíduos/grupos em redes sociais^[8] e como método de identificação de precursores de terremotos.^[15]

A entropia de fusão é o aumento de entropia ao fundir uma substância. Isso é quase sempre positivo, uma vez que o grau de desordem aumenta a transição de um sistema organizado do  sólido cristalino para a estrutura disorganizada de um líquido; a única exceção conhecida é o hélio.^[1] Ele é indicado como ${\displaystyle \Delta S_{\text{fus}}}$ e, normalmente, expressa em J mol^-1 K^-1 Um processo natural, como uma transição de fase vai ocorrer quando o associado mudança na energia livre de Gibbs é negativa.

${\displaystyle \Delta G_{\text{fus}}=\Delta H_{\text{fus}}-T\times \Delta S_{\text{fus}}<0}$, 

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

onde ${\displaystyle \Delta H_{\text{fus}}}$ é a entalpia ou calor de fusão.

Já que esta é uma equação termodinâmica, o símbolo T se refere ao valor absoluto temperatura termodinâmica, medido em kelvins (K).

Equilíbrio ocorre quando a temperatura é igual à ponto de fusão ${\displaystyle T=T_{f}}$ de modo que

${\displaystyle \Delta G_{\text{fus}}=\Delta H_{\text{fus}}-T_{f}\times \Delta S_{\text{fus}}=0}$,

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

e a entropia de fusão é o calor da fusão dividido pelo ponto de fusão.

${\displaystyle \Delta S_{\text{fus}}={\frac {\Delta H_{\text{fus}}}{T_{f}}}}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

O desenvolvimento do método da máxima entropia (ME) ocorreu através de duas linhas de pesquisa: inferência estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon).

O objetivo da primeira linha de investigação é a de formular uma teoria/metodologia que permite a compreensão das características gerais (distribuição) de um sistema de informação parcial e incompleto. Na segunda linha de investigação, este mesmo objectivo é expresso na forma de determinar como atribuir valores numéricos (iniciais) das probabilidades quando apenas algumas quantidades globais limitadas (teoricamente) do sistema investigados são conhecidas. O reconhecimento dos objetivos básicos comuns destas duas linhas de pesquisa auxiliou Jaynes (1957)^[1][2] no desenvolvimento do seu trabalho clássico, de formalização da máxima entropia. Isto é, a formalização da ME foi baseada na filosofia da primeira linha de investigação e na matemática da segunda linha de investigação.

Jaynes mostrou que maximizar estatisticamente a entropia (mecânica) com a finalidade de revelar o modo como as moléculas de gás estavam distribuídas seria equivalente à simples maximização da entropia (de informação) de Shannon com informação mecânica estatisticamente. O método foi correto para atribuir probabilidades independentemente das especificidades da informação. Esta ideia conduziu a máxima entropia ou à utilização do método da máxima entropia para atribuir probabilidades. Este método tem evoluído para um método mais geral, o método de máxima entropia relativa (MEr), que tem a vantagem de não só atribuir probabilidades, mas atualizá-las quando nova informação é dada sob a forma de restrições sobre os probabilidades.

A ME pode ser aplicada para análise de uma grande variedade de problemas na maioria das disciplinas da ciência. por exemplo, trabalhos sobre a reconstrução de imagem e análise espectral em medicina, física, química, biologia, topografia, engenharia, comunicação e informação, investigação de operações, ciência política e economia (tomografia, imagens de satélite, motores de busca, matriz insumo-produto, métodos tipo GMM, modelagem de dados em econometria); a investigação em estimação e inferência estatística (métodos bayesianos e não bayesianos); e inovações em curso no processamento de informação e de TI.

Definição

Em Física, a entropia de um sistema é uma medida de sua ‘desordem’. O físico austríaco Ludwig Boltzmann definiu a entropia de um sistema através da seguinte expressão:

${\displaystyle S=k\ln \theta }$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

em que ${\displaystyle k}$ é uma constante (positiva) de ajuste dimensional e ${\displaystyle \theta }$ é número de estados do sistema. A ‘desordem’ (denotada por ${\displaystyle D}$) está diretamente relacionada ao número de estados. Então,

${\displaystyle S=k\ln D}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

Portanto, se ${\displaystyle S}$ mede a desordem, ${\displaystyle -S}$ (uma entropia negativa) mede a ordem do sistema. Uma das mais importantes variantes da equação anterior é a entropia de Shannon, também conhecida como entropia de informação, definida como:^[3]

${\displaystyle S(X)=-k\sum _{i=1}^{n}{P_{i}\ln P_{i}}\,}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

onde ${\displaystyle S(X)}$ é a entropia da variável aleatória X, que denota a probabilidade de que X esteja no estado i, k é uma constante de ajuste dimensional, n é o número total de categorias ou estados, e ${\displaystyle P_{i}}$ representa sua respectiva probabilidade. Os valores de ${\displaystyle P_{i}}$ que maximizam ${\displaystyle S(X)}$ são submetidos às condições da informação disponível.

O princípio da máxima entropia é útil explicitamente apenas quando aplicado a informações testáveis. Uma informação é testável se for possível determinar se uma dada distribuição é coerente com ela. Por exemplo, as declarações

O valor esperado da variável X é 2,87

e

${\displaystyle P_{2}+P_{3}>0{,}6}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

são declarações de informações testáveis.

Dada uma informação testável, o procedimento de máxima entropia consiste em procurar a distribuição de probabilidade de que maximiza a entropia da informação, sujeita às restrições da informação. Este problema de otimização restrita normalmente é resolvido utilizando o método de multiplicadores de Lagrange.

O problema pode ser enunciado como segue: Maximizar

${\displaystyle S(X)=-\sum _{i=1}^{n}{P_{i}\ln P_{i}}\,}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

com o conjunto de restrições (r):

${\displaystyle [Q_{r}]=\sum _{i=1}^{n}{P_{i}Q_{r}(i)}\,}$ = ${\displaystyle Q_{r}^{m}}$ onde ${\displaystyle r=0,1,2...}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

que significa que o valor médio de ${\displaystyle Q_{r}}$ é igual a ${\displaystyle Q_{r}^{m}}$. Para r = 0, temos a condição de normalização, que assegura que ${\displaystyle \sum _{i=1}^{n}{P_{i}}=1\,}$. Para r ≥ 1, ${\displaystyle Q_{r}^{m}}$ é obtido da informação parcial que se tem do sistema.

Utilizando multiplicadores de Lagrange, ${\displaystyle \lambda _{r}}$, o problema é maximizar

${\displaystyle -\sum _{i=1}^{n}{P_{i}\ln P_{i}}\,}$ ${\displaystyle -\sum _{r}{\lambda _{r}Q_{r}(i)}\,}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

A solução geral é

${\displaystyle P_{i}=e^{-\sum _{r}{\lambda _{r}Q_{r}(i)}\,}}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

Propriedades

• ${\displaystyle S(X)=0}$ se e somente se todos os ${\displaystyle P_{i}}$ são zero, com exceção de um que tem valor unitário. Intuitivamente, essa é a situação de maior certeza. De outra maneira, ${\displaystyle S(X)}$ é positivo.
• Para um dado ${\displaystyle n}$, ${\displaystyle S(X)=0}$ e igual a ${\displaystyle \ln(n)}$ quando todos os ${\displaystyle P_{i}}$ são iguais (i.é., ${\displaystyle 1/n}$). Contrariamente à situação anterior, esse é o caso de maior incerteza.
• Se existem dois eventos, ${\displaystyle X}$ e ${\displaystyle Y}$, com ${\displaystyle m}$ possibilidades para o primeiro e ${\displaystyle n}$ para o segundo e ${\displaystyle P(i,j)}$ é a probabilidade de ocorrência conjunta de ${\displaystyle i}$ para o primeiro e ${\displaystyle j}$ para o segundo, a entropia do evento conjunto é:

${\displaystyle S(X,Y)=-\sum _{i,j}{P(i,j)\ln P(i,j)}\,}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

com

${\displaystyle S(X)=-\sum _{i,j}{P(i,j)\sum _{j}{\ln P(i,j)}\,}\,}$ e

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

${\displaystyle S(Y)=-\sum _{i,j}{P(i,j)\sum _{i}{\ln P(i,j)}\,}\,}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

Destas definições segue que:

${\displaystyle S(X,Y)\leq S(X)+S(Y)}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

• Por definição, a entropia condicional de ${\displaystyle Y}$ é dada por:

${\displaystyle S_{x}(Y)=-\sum _{i,j}{P(i,j)\ln P_{i}(j)}\,}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

De onde resultam

${\displaystyle S(X,Y)=S(X)+S_{x}(Y)}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

e

${\displaystyle S(Y)\geq H_{x}(Y)}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

Em termodinâmica, uma Transformação isentrópica (combinação da palavra grega "iso" - igual - e "entropia") é aquela em que a entropia do sistema permanece constante.

A Segunda Lei da Termodinâmica estabelece que:

${\displaystyle \delta Q\leq TdS}$

/

G* =  = [          ] ω  , ,  / T]  c [    [x,t] ]  = 

onde ${\displaystyle \delta Q}$ é a quantidade de energia que o sistema ganha por aquecimento, ${\displaystyle T}$ a temperatura do sistema, e ${\displaystyle dS}$ a variação de entropia. O símbolo de igualdade implicaria um processo reversível. Em um processo isentrópico reversível não há transferência de energia calorífica, e por isso o processo é também adiabático. Em um processo adiabático irreversível, a entropia aumentará, de modo que é necessário eliminar calor do sistema (mediante refrigeração) para manter uma entropia constante. Por isso, um processo isentrópico irreversível não pode ser adiabático.