Respostas e indicações

As respostas registram os resultados e os passos que sustentam o argumento. Uma simulação pode conferir numericamente uma conta, mas não substitui a justificativa de uma identidade ou de um limite.

Cadeias de Markov finitas

Exercício 2.1.

A fórmula da probabilidade de um caminho fornece

Como a segunda coluna de \(P\) é constante e igual a \(1/2\),

Para \(A=\{ X_0\in \{ 1,3\} \} \), temos \(\mathbb P(A,X_1=2)=3/8\gt 0\). A probabilidade do caminho que prossegue até \(X_2=3\) é \(3/32\), e, portanto,

Conhecido \(X_1\), o passado parcial não altera a lei do próximo passo.

Exercício 2.2.

Partindo de \(1\), a cadeia permanece nele enquanto não dá o salto para \(0\). Assim, \(P^n(1,1)=r^n\), inclusive em \(n=0\). Se \(V\) conta todas as visitas ao estado \(1\),

O primeiro passo retorna a \(1\) com probabilidade \(r\); se vai a \(0\), o retorno se torna impossível. Portanto, \(\mathbb P_1(T_1^+\lt \infty )=r\lt 1\), e o estado \(1\) é transiente. O estado \(0\) é absorvente, logo recorrente, e \(\sum _nP^n(0,0)=\infty \).

Exercício 2.3.

Com \(Y_n=1\), a chance do próximo valor um é \(0{,}6\) se o anterior foi zero e \(0{,}8\) se foi um. A informação anterior ainda importa. O par atual contém a informação necessária e tem matriz

De \((a,b)\), o próximo estado tem obrigatoriamente a forma \((b,c)\).

Exercício 2.4.

As linhas interiores têm \(0{,}4\) na coluna anterior e \(0{,}6\) na seguinte; as linhas de \(0\) e \(4\) são absorventes. Para chegar a \(4\) em três passos, o único caminho é \(1,2,3,4\), de probabilidade \(0{,}6^3=0{,}216\). Para terminar em zero, pode-se sair diretamente para zero e permanecer ou percorrer \(1,2,1,0\): \(P^3(1,0)=0{,}4+0{,}6(0{,}4)^2=0{,}496\). A multiplicação \(P^3=P^2P\) soma exatamente esses casos.

Exercício 2.5.

No jogo justo, a chance de atingir seis é \(1/3\) e a duração média é oito apostas. Para \(p=3/5\), a razão \(q/p=2/3\) dá

Há mais chance de alcançar a barreira distante, o que pode aumentar o tempo gasto; sucesso e duração medem aspectos diferentes.

Exercício 2.6.

Para decidir se \(T\leq n\), basta observar \(X_0,\ldots ,X_n\); logo, \(T\) é um tempo de parada. A fórmula da ruína com barreiras \(0\) e \(3\) dá \(\mathbb P_2(X_T=3)=2/3\). No evento \(\{ X_T=3\} \), a propriedade forte de Markov permite recomeçar em \(3\), agora com as barreiras originais \(0\) e \(5\). Portanto,

Toda trajetória que chega a \(5\) antes de \(0\) precisa passar por \(3\). Assim, \(\mathbb P_2(X_\tau =5)=(2/3)(3/5)=2/5\), de acordo com a fórmula direta.

Exercício 2.7.

Se \(R\) é a submatriz nos estados \(1,2,3,4\), a linha de \((I-R)^{-1}\) correspondente a \(2\) é \((6/5,12/5,8/5,4/5)\). Assim, são esperadas \(8/5\) visitas ao estado \(3\); a soma da linha é seis, igual a \(2(5-2)\).

Exercício 2.8.

Depois do silêncio, \(r_0=(1/9,8/9)\). A previsão seguinte é \((16/45,29/45)\); após o clique, \(r_1=(72/101,29/101)\). A probabilidade desse clique, dado o silêncio anterior, é \(101/225\).

Exercício 2.9.

O fator de emissão \(b(y)\) multiplica todas as coordenadas previstas e se cancela na normalização, quando \(b(y)\gt 0\). Com emissões idênticas, a lei das observações é o produto desses mesmos fatores, sem depender de \(P\): as ações não identificam as transições ocultas.

Exercício 2.10.

As probabilidades são \(383/550\) e \(101/225\), respectivamente. A observação inicial muda a distribuição do estado oculto, que persiste até o próximo dia. A independência exigida pelo HMM é condicional à trajetória oculta, não uma independência marginal entre os cliques.

Distribuições estacionárias e comportamento limite

Exercício 3.1.

Da equação \(\pi P=\pi \), resulta \(\pi =(2/3,1/3)\). A cadeia é finita, irredutível e aperiódica. Pelo teorema ergódico,

Em contraste, \(E_0c(X_1)=3/4+4/4=7/4\): a previsão para um passo não é a média de longo prazo.

Para o acoplamento proposto, se as duas cópias estão em estados diferentes, permanecem diferentes somente quando \(1/4\lt U_n\leq 1/2\), evento de probabilidade \(1/4\). Quando se encontram, o mesmo uniforme conserva a igualdade. Como \(\mathbb P(X_0\ne Y_0)=\pi (1)=1/3\),

A desigualdade de acoplamento dá

Aqui a cota é exata: se \(p_n=P^n(0,1)\), a recorrência \(p_{n+1}=1/4+p_n/4\), com \(p_0=0\), fornece \(p_n=(1-4^{-n})/3\).

Exercício 3.2.

As classes são \(\{ 1,2\} \), \(\{ 3\} \) e \(\{ 4,5\} \). A primeira e a terceira são fechadas e recorrentes; \(3\) é transiente. Os períodos são dois em \(\{ 1,2\} \) e um nos demais estados, pois \(p(3,3)\gt 0\) e \(p(4,4)\gt 0\). Todas as estacionárias são

A lei iniciada em \(1\) alterna entre as massas em \(1\) e \(2\).

Exercício 3.3.

Os graus são \((1,2,2,1)\), logo \(\pi =(1/6,1/3,1/3,1/6)\). Em cada aresta, o fluxo nos dois sentidos é \(1/6\). A cadeia tem período dois; \(E_1T_1^+=6\) e \(E_2T_2^+=3\). A versão preguiçosa tem a mesma estacionária e os mesmos tempos médios de primeiro retorno, mas é aperiódica e suas distribuições convergem para \(\pi \). Permanências no primeiro passo contam como retorno.

Exercício 3.4.

Temos \((0,1,0)=\tfrac 13(1,1,1)-\tfrac 13(1,-2,1)\). O modo de autovalor \(3/4\) não aparece. Portanto a distância é \(\tfrac 23(1/4)^n\). Em dois passos ela é \(1/24\gt 0{,}02\) e, em três, \(1/96\lt 0{,}02\): o primeiro instante é \(n=3\). Partindo de \(1\), permanece o modo mais lento, de autovalor \(3/4\), e a distância é

Essa expressão decresce com \(n\). Como \(d_1(11)\approx 0{,}02112\) e \(d_1(12)\approx 0{,}01584\), o primeiro instante que satisfaz o mesmo limiar é \(n=12\). A escolha do estado inicial reduz, neste exemplo, a espera de doze para três passos ao eliminar o modo mais lento.

Exercício 3.5.

As probabilidades de subir, descer e permanecer são \((3-i)^2/9\), \(i^2/9\) e \(2i(3-i)/9\), respectivamente. Nas fronteiras, use apenas os destinos possíveis. A estacionária é \((1,9,9,1)/20\). A identidade \(\binom 3i(3-i)=\binom 3{i+1}(i+1)\) verifica o balanço detalhado entre vizinhos. Se a primeira urna é um subconjunto uniforme de três das seis bolas identificadas, há \(\binom 3i\binom 3{3-i}\) configurações com \(i\) pretas, entre \(\binom 63\) igualmente prováveis. Uma troca preserva essa uniformidade.

Exercício 3.6.

A segunda iteração é \((0{,}39,0{,}19,0{,}35,0{,}07)\). A estacionária é \(\pi =(305,175,315,53)/848\approx (0{,}35967,0{,}20637,0{,}37146,0{,}06250)\). Substituí-la em \(\pi G=\pi \) verifica o resultado. A décima iteração está próxima, mas ainda não coincide com o equilíbrio.

Exercício 3.7.

Se \(\alpha =0\), cada linha de \(G\) é \(v\) e \(\pi =v\). Se \(\alpha =1\) e cada um de dois vértices aponta somente para si mesmo, \(G=I\) e toda distribuição é estacionária. A positividade de \(v\) junto de \(\alpha \lt 1\) garante comunicação e permanência; a finitude garante a existência pelo argumento de compacidade.

Exercício 3.8.

A primeira iteração passa a \((2/5,1/6,11/30,1/15)\). Os links são os mesmos; a alteração decorre de \(v\), tanto no teletransporte quanto na linha da página sem saída.

Exercício 3.9.

Sem evaporação, os feromônios não diminuem e permanecem em \([\tau _{\min },\tau _{\max }]\). A probabilidade de cada escolha é pelo menos \(\varepsilon =\tau _{\min }/(2\tau _{\max })\). A probabilidade de evitar um caminho nas próximas \(r\) escolhas é, condicionada a qualquer história, no máximo \((1-\varepsilon )^r\); portanto, cada caminho é visitado infinitas vezes quase certamente. Após no máximo \(\lceil (\tau _{\max }-\tau _i(0))/q_i\rceil \) escolhas do caminho \(i\), seu feromônio chega ao teto e ali permanece. Esse número de escolhas é alcançado em tempo finito quase certamente para ambos os caminhos. A partir daí, as probabilidades são \(1/2\) e \(1/2\), apesar de \(q_1\gt q_2\). O teorema de seleção pressupõe a atualização sem truncamento, na qual os feromônios podem crescer sem limite. A exploração persistente assegura novas visitas, mas não compara a qualidade das soluções nem garante concentração no melhor caminho.

Cadeias de Markov enumeráveis

Exercício 4.1.

\(P^{2n}(0,0)=\binom {2n}{n}[p(1-p)]^n\sim [4p(1-p)]^n/\sqrt{\pi n}\). Para \(p=1/2\), a série diverge e o passeio é recorrente; para \(p=7/10\), o fator é \(0{,}84\lt 1\) e o passeio é transiente. No caso simétrico, \(P^n(0,0)\to 0\), portanto

Pelo teorema de frequência, \(Z_n=N_n(0)/n\) converge quase certamente para \(c=1/E_0T_0^+\). Como \(0\leq Z_n\leq 1\), o Lema 3.5 dá \(E_0Z_n\to c\): basta usar \(|E_0Z_n-c|\leq \varepsilon +\mathbb P_0(|Z_n-c|\gt \varepsilon )\). Logo \(c=0\) e o retorno tem média infinita: a recorrência é nula.

Exercício 4.2.

A estacionária é \(\pi (i)=\tfrac 13(2/3)^i\), o retorno médio a zero é três e a média temporal de \(X_n\) tende a \(\sum _i i\pi (i)=2\). Já \(\sum _i2^i\pi (i)=\tfrac 13\sum _i(4/3)^i=\infty \). Para cada inteiro \(b\), o teorema ergódico aplicado a \(f\wedge b\) dá

Essas afirmações valem simultaneamente para todos os inteiros \(b\), pois a união enumerável de eventos de probabilidade zero ainda tem probabilidade zero. Para ver que as médias truncadas podem ser arbitrariamente grandes, fixe \(K\) e escolha \(b\geq 2^K\). Então

As somas finitas à direita crescem sem limite quando \(K\) aumenta. Logo o limite inferior da média temporal é maior que qualquer número real, o que prova sua divergência para \(+\infty \).

Processos de ramificação

Exercício 4.3.

As três probabilidades são \(1/16\), \(3/8\) e \(9/16\). Além disso, \(E_2Z_3=2(3/2)^3=27/4\). Para uma semente, \(q_1=1/4\) e \(q_2=f(1/4)=19/64\lt 1/3=q\). Extinção até a segunda geração é um evento menor que extinção eventual.

Exercício 4.4.

Se \(p_0\gt 0\), a extinção na primeira geração tem probabilidade positiva: para uma semente, \(q\geq p_0\gt 0\), e para \(k\geq 1\) sementes essa probabilidade é \(p_0^k\gt 0\). Logo a extinção eventual também tem probabilidade positiva. Se \(p_0=0\), cada indivíduo tem pelo menos um filho, a população nunca zera e \(q=0\). Como \(\mathbb {P}_k(H_0\lt \infty )=q^k\), para todo \(k\geq 1\) finito a probabilidade de extinção é zero exatamente quando \(q=0\), ou seja, quando \(p_0=0\). Quando \(Y\equiv 1\), a média é um e a população permanece constante: criticidade, sem excluir esse caso, não implica extinção.

Exercício 4.5.

Temos \(m=r/(1-r)\) e \(f(s)=(1-r)/(1-rs)\). A equação de ponto fixo tem raízes \(1\) e \((1-r)/r\). Portanto \(q=1\) para \(r\leq 1/2\), e \(q=(1-r)/r\) para \(r\gt 1/2\). Quando \(r=2/3\), \(q=1/2\) e a sobrevivência com três sementes é \(1-q^3=7/8\).

Exercício 4.6.

Para \(B_M=\sum _{n=0}^{M}Z_n\), a linearidade de somas finitas e o Teorema 4.7 dão

Como \(B_M\) cresce para \(B=\sum _{n\geq 0}Z_n\), o argumento de contagem e caudas do Lema 2.15 mostra que \(E(B)=\sup _M E(B_M)\), inclusive se a soma for infinita. Portanto, para \(m\lt 1\),

Uma variável não negativa com esperança finita não pode ser infinita com probabilidade positiva. Logo \(B\lt \infty \) quase certamente.

Exercício 4.7.

\(\widehat m=1{,}3\), \(\widehat f(s)=0{,}3+0{,}1s+0{,}6s^2\) e \(\widehat q=1/2\); com duas sementes, a extinção ajustada é \(1/4\). O máximo de verossimilhança atribui zero à categoria três, mas dados finitos não provam que ela seja impossível. As contagens somam \(78\) filhos; uma árvore encerrada com \(60\) vértices teria exatamente \(59\) arestas.

Percolação em árvores e grafos aleatórios

Exercício 4.8.

A descendência é binomial com parâmetros \(3\) e \(p\), de modo que \(m=3p\) e \(p_c=1/3\). Para \(p=1/4\),

Em \(p=1/3\), o processo é crítico e não degenerado. Logo, \(\mathbb P(|C(o)|=\infty )=0\), mas \(E(|C(o)|)=\sum _{n\geq 0}1=\infty \).

Exercício 4.9.

A partir de um vizinho da raiz, a exploração que não volta ao pai é uma ramificação com descendência \(Y\sim \operatorname {Binomial}(d-1,p)\). Seja \(q\) sua probabilidade de extinção, isto é, a menor solução de

Cada uma das \(d\) direções da raiz deixa de conduzir a uma componente infinita se sua primeira aresta estiver fechada ou se estiver aberta e a ramificação seguinte se extinguir. Essa probabilidade é \(1-p+pq\). Como as direções usam conjuntos disjuntos de arestas,

Ela é positiva exatamente quando \((d-1)p\gt 1\). Portanto, \(p_c=1/(d-1)\), e não \(1/d\). A raiz oferece \(d\) tentativas iniciais, mas a continuidade de cada tentativa depende da reprodução com \(d-1\) filhos possíveis nas gerações seguintes.

Exercício 4.10.

Escreva \(I_n=\sum _{v=1}^{n}\mathbf1_{\{ v\text{ isolado}\} }\). Cada vértice é isolado se suas \(n-1\) arestas possíveis estiverem ausentes. Pela linearidade da esperança, sem exigir independência entre essas indicadoras,

Uma componente gigante ocupa uma fração positiva, não necessariamente a totalidade dos vértices. Para \(c\gt 1\) fixo, o teorema dá \(L_1(n)/n\to \rho (c)\lt 1\) em probabilidade. Tomando \(\varepsilon =(1-\rho (c))/2\gt 0\), obtemos

Assim, a componente gigante pode coexistir com várias outras componentes. O cálculo de \(E(I_n)\), sozinho, é uma afirmação sobre a média, não uma prova de concentração do número de vértices isolados.

Processos de Poisson

Exercício 5.1.

As probabilidades exponenciais são \(e^{-3/2}\) e \(e^{-3/4}\). Para a uniforme, são \(6/24=1/4\) e \(6/15=2/5\). A exponencial tem falta de memória. Na uniforme, por exemplo, \(\mathbb {P}(U\gt 18\mid U\gt 9)=2/5\ne \mathbb {P}(U\gt 9)=5/8\).

Exercício 5.2.

A regra de probabilidade condicional dá \(u(s+t)=u(s)u(t)\). Como \(0\lt u(1)\leq 1\), podemos definir \(\alpha =-\log u(1)\geq 0\). Para inteiros \(m\geq 1\) e \(k\geq 0\), temos \(u(1/m)^m=u(1)\) e, portanto, \(u(k/m)=e^{-\alpha k/m}\). A continuidade estende a identidade aos reais não negativos. Os eventos \(\{ T\gt n\} \) decrescem para \(\{ T=\infty \} \); pela continuidade das probabilidades e pela finitude de \(T\), suas probabilidades tendem a zero. Logo \(\alpha \gt 0\): se \(\alpha =0\), teríamos \(u\equiv 1\), que descreveria uma espera infinita. Assim, \(T\sim \operatorname {Exp}(\alpha )\).

Exercício 5.3.

A média é \(4/3\) de hora. Como \(T_4\gt 1\) equivale a \(N(1)\leq 3\), a probabilidade é \(13e^{-3}\approx 0{,}6472\). A terceira resposta é \(1-4e^{-3}\approx 0{,}8009\). Condicionado ao total seis, a contagem na meia hora é binomial de parâmetros \(6\) e \(1/4\), logo a probabilidade é \(\binom 62(1/4)^2(3/4)^4=1215/4096\).

Exercício 5.4.

Escreva \(N(t)=N(s)+[N(t)-N(s)]\), com parcelas independentes. Então

As contagens acumuladas compartilham os eventos anteriores a \(s\); são os incrementos em intervalos disjuntos que são independentes.

Exercício 5.5.

As duas contagens são Poisson independentes de médias \(3\) e \(3/2\). A probabilidade é \((e^{-3}3^2/2)(e^{-3/2}3/2)=27e^{-9/2}/4\). Dado o total três, a detectada é binomial de parâmetros \(3\) e \(2/3\), e a outra vale três menos a primeira: são dependentes.

Exercício 5.6.

O número de pedidos tem média seis, \(EY=11/6\) e \(EY^2=9/2\). A soma tem média \(11\) e variância \(27\). O número de pedidos com quatro unidades é Poisson de média \(6(1/6)=1\).

Exercício 5.7.

Fixe \(n\geq 0\) e denote por \(C_j(n)\) o número de pessoas no estado \(j\). Os indivíduos inicialmente em \(i\) se dividem por destino com probabilidades \(P^n(i,j)\). O afinamento gera contagens independentes em cada destino e grupo de origem. Somando os grupos, obtemos Poisson independentes com vetor de médias \((4,2)P^n=(4,2)\), pois \((4,2)P=(4,2)\). Assim, \(C_1(n)\sim \operatorname {Poisson}(4)\) e \(C_2(n)\sim \operatorname {Poisson}(2)\) para cada instante fixado. Isso não afirma independência entre contagens em instantes diferentes.

Se \(M\) é o total inicial, a conservação do número de pessoas dá \(M=C_1(n)+C_2(n)\). Como a soma tem lei \(\operatorname {Poisson}(6)\), para \(0\leq r\leq m\),

Logo, condicionado a \(M=m\), o par tem distribuição multinomial com total \(m\) e probabilidades \((2/3,1/3)\); a segunda contagem vale \(m-C_1(n)\). Para \(m\gt 0\), sua covariância condicional é \(-2m/9\), e elas são dependentes. Para \(m=0\), ambas são identicamente zero.

Exercício 5.13.

A média e a variância são \(4\cdot 1+2\cdot 1=6\), e a probabilidade é \(1-e^{-6}\). O modelo homogêneo dá \(14/3\) e \(1-e^{-14/3}\).

Exercício 5.14.

É contrariada a independência dos incrementos em intervalos disjuntos. Mudar uma intensidade determinística altera as marginais, mas preserva essa independência; não produz a correlação residual observada.

Exercício 5.15.

Temos \(\Lambda (t)=t^2\) e \(\mathbb {P}(T_1\gt t)=e^{-t^2}\). Se \(S_k=E_1+\cdots +E_k\) são as chegadas do processo de taxa um, então \(N(t)=M(t^2)\) chega quando \(t^2=S_k\), isto é, \(T_k=\sqrt{S_k}\). As duas contagens são independentes com médias e variâncias \(1\) e \(3\).

Exercício 5.8.

Um minuto corresponde a \(h=1/60\) de hora, portanto \(\lambda h=1/10\). A lei do incremento dá, respectivamente,

Os valores aproximados são \(0{,}90484\), \(0{,}09048\) e \(0{,}00468\). A aproximação linear para exatamente uma chegada é \(0{,}1\), cerca de \(0{,}00952\) acima do valor exato. Para \(h\gt 0\),

Pela Proposição 5.10, o numerador é \(18h^2+O(h^3)\) e o denominador é \(6h+O(h^2)\). Dividindo ambos por \(h\), o quociente tende a zero. Para cada \(h\gt 0\), o numerador é positivo; o limite apenas compara a velocidade com que as probabilidades diminuem.

Exercício 5.9.

Para \(K_r=k\), a chegada de ordem \(k+r\) na superposição deve ter marca B. Nas \(k+r-1\) posições anteriores deve haver exatamente \(r-1\) marcas B e \(k\) marcas A. Há \(\binom {k+r-1}{r-1}\) escolhas para as posições B. Cada sequência, incluindo a marca B final, tem probabilidade \(p^k(1-p)^r\), pela independência das marcas. Isso prova a fórmula, conhecida como distribuição binomial negativa para o número de marcas A antes da \(r\)-ésima B.

Entre duas marcas B sucessivas, conte as marcas A. Cada bloco tem a lei geométrica do Exemplo 5.9, pois usa uma nova parte da sequência independente de marcas; sua média é \(p/(1-p)=\lambda /\mu \). O mesmo vale para o bloco anterior à primeira B. Pela linearidade da esperança, somar os \(r\) blocos dá \(E(K_r)=r\lambda /\mu \). A decomposição pode ser justificada para quaisquer comprimentos fixados: a probabilidade da lista de comprimentos \((k_1,\ldots ,k_r)\) é \(\prod _{j=1}^r p^{k_j}(1-p)\), que se fatora nas massas geométricas. No caso numérico, \(p=2/3\) e

Exercício 5.10.

A primeira chegada B tem densidade \(\mu e^{-\mu t}\), \(t\gt 0\), e é independente de \(N_A\). Se essa chegada ocorre no instante \(t\), a contagem A anterior a ela tem lei \(\operatorname {Poisson}(\lambda t)\). Empates entre chegadas têm probabilidade zero. Portanto a densidade conjunta do instante \(T\) e do evento \(\{ K=k\} \) é

No exemplo já obtivemos \(\mathbb P(K=k)=\mu \lambda ^k/(\lambda +\mu )^{k+1}\gt 0\). Dividir a densidade conjunta por essa massa dá

É a densidade gama de forma \(k+1\) e taxa \(\lambda +\mu \). Como essa lei também é a de uma soma de \(k+1\) exponenciais com essa taxa, a linearidade fornece \(E(T\mid K=k)=(k+1)/(\lambda +\mu )\). O processo A e \(T\) eram independentes antes da observação; a variável \(K=N_A(T)\) usa ambos. Fixar \(K\) modifica a informação disponível sobre \(T\), e a média condicional cresce com o valor contado.

Exercício 5.11.

Escreva \(U,V,W,Z\) para as quatro contagens indicadas no enunciado. As probabilidades das marcas são \(ab\), \(a(1-b)\), \((1-a)b\) e \((1-a)(1-b)\). O afinamento fornece contagens independentes com médias iguais a essas probabilidades multiplicadas por \(\lambda t\). Os registros dos aparelhos são

Somar Poisson independentes dá leis marginais \(\operatorname {Poisson}(a\lambda t)\) e \(\operatorname {Poisson}(b\lambda t)\). Para a covariância, expandimos os produtos. Pela independência entre \(U,V,W\), todos os termos cruzados se cancelam ao subtrair o produto das médias; resta

Como essa quantidade é positiva para \(t\gt 0\), as contagens não são independentes. A independência das duas decisões para uma partícula permite que ambos registrem a mesma chegada: é a parcela comum \(U\). No afinamento em classes mutuamente exclusivas, essa parcela não existe.

Exercício 5.12.

Multiplicar uma variável por dois multiplica sua média por dois e sua variância por quatro. Assim,

A contagem \(C(t)\) é sempre par, de modo que \(\mathbb P(C(t)=1)=0\). Já uma Poisson de parâmetro \(2\lambda t\) tem variância \(2\lambda t\) e, para \(t\gt 0\), atribui massa positiva a um. Além disso,

Aqui duas chegadas de pacotes têm probabilidade de primeira ordem em \(h\), e cada salto de \(C\) tem tamanho dois. Portanto, \(C\) não satisfaz a condição de saltos unitários do processo de Poisson, embora conte lotes por meio de um processo de Poisson.

Exercício 5.16.

No estado zero, a espera é exponencial de taxa \(1\) por hora; a probabilidade pedida é \(e^{-h}\) e a média é uma hora. No estado dois, a taxa é \(1+2\cdot 2=5\) por hora; a probabilidade é \(e^{-5h}\) e a média é \(1/5\) de hora. A taxa permanece fixa durante cada uma dessas esperas porque nenhuma chegada ainda alterou o estado.

No modelo não homogêneo, a probabilidade de não haver chegadas entre \(t\) e \(t+h\) é

qualquer que seja a contagem anterior. Se \(\lambda \) é contínua em \(t\), essa probabilidade é \(1-\lambda (t)h+o(h)\). Um mesmo valor \(\lambda (t)\) não pode ser simultaneamente \(1\) e \(5\). A intensidade determinística pode mudar com o relógio, mas é comum às histórias que atingem o mesmo horário; a taxa do segundo mecanismo muda com a contagem de cada história.

Cadeias de Markov em tempo contínuo

Exercício 6.1.

Para \(t\geq 0\), \(\mathbb {P}(M\leq t)=(1-e^{-t/4})(1-e^{-t/6})\). A média é \(4+6-12/5=38/5\) anos. O primeiro componente falha antes com probabilidade \((1/4)/(1/4+1/6)=3/5\).

Exercício 6.2.

As médias de permanência são \(1/3\), \(1/3\) e \(1/4\) de hora. Os destinos têm probabilidades \((r(1,2),r(1,3))=(2/3,1/3)\), \((r(2,1),r(2,3))=(1/3,2/3)\) e \(r(3,1)=1\). Resolver \(\pi Q=0\) e normalizar dá \(\pi =(12,8,7)/27\). Como \(q(2,3)\gt 0\) e \(q(3,2)=0\), não há reversibilidade. O fluxo de 1 para 2 é \(\pi (1)q(1,2)=8/9\) por hora. A taxa \(2\) é o coeficiente de \(h\) em \(P_h(1,2)=2h+o(h)\); durante uma hora podem ocorrer vários saltos.

Exercício 6.3.

Temos \(P_t(1,2)=\frac25(1-e^{-5t})\). Em \([0,t]\), a cadeia faz apenas um número finito de saltos quase certamente. As somas de Riemann da indicadora de permanência em 1 convergem para seu tempo de ocupação e são limitadas por \(t\). A estimativa elementar para convergência de variáveis limitadas permite passar ao limite nas esperanças dessas somas. Como a esperança de cada parcela é \(P_s(1,1)\), a esperança da ocupação é a integral usual de \(P_s(1,1)=3/5+(2/5)e^{-5s}\), portanto

A uniformização dá \(U=\left(\begin{smallmatrix} 3/5 & 2/5 \\ 3/5 & 2/5 \end{smallmatrix}\right)\). Toques que conservam o estado são descartados ao contar mudanças reais; a taxa efetiva é \(5(2/5)=2\) em 1 e \(5(3/5)=3\) em 2.

Exercício 6.4.

Na ordem \(0,1,2\), o gerador por dia e a estacionária são

O número médio em funcionamento é \(20/13\). O reparador trabalha quando há menos de duas máquinas funcionando: fração \(5/13\).

Exercício 6.5.

A cadeia de saltos é simétrica, logo a probabilidade é \(1/4\). A restrição do gerador tem diagonal \(-4\) e vizinhos de taxa \(2\). A primeira linha de sua inversa negativa é \((3/8,1/4,1/8)\), em horas. A soma é \(3/4\) de hora, também obtida de \(i(4-i)/4\) em \(i=1\).

Exercício 6.6.

Normalizar os pesos \((3/4)^n\), \(0\leq n\leq 3\), dá

A fração recusada é \(27/175\) e a taxa aceita, igual à atendida a longo prazo, é \(6(148/175)=888/175\) por hora. O número médio é \(201/175\); sem limite seria \(6/(8-6)=3\). PASTA usa a intensidade condicional constante das tentativas de chegada, inclusive com o sistema cheio, e serviços que não antecipam essas chegadas.

Exercício 6.7.

A cadeia de saltos, fora de zero, sobe com probabilidade \(p=\lambda /(\lambda +\mu )\) e desce com \(q=\mu /(\lambda +\mu )\). Partindo de 1, a probabilidade de atingir 0 antes de \(b\) tende a 1 se \(p\leq q\), e a \(q/p\lt 1\) se \(p\gt q\), pela fórmula da ruína. Assim, o caso crítico é recorrente, mas não admite estacionária. Para ver que sua média de retorno é infinita, o tempo de atingir \(\{ 0,b\} \) a partir de 1 tem média \((b-1)/(2\lambda )\), que tende a infinito e é limitado pelo tempo de atingir 0. O caso \(\lambda \lt \mu \) é recorrente positivo: a média de descida a partir de 1 é \(1/(\mu -\lambda )\), obtida pela equação de primeiro passo com barreira \(b\) e passagem monótona ao limite; somamos a espera \(1/\lambda \) em zero. O caso \(\lambda \gt \mu \) é transiente. Não possuir estacionária ocorre nos dois últimos regimes e não basta para distingui-los.

Exercício 6.8.

Até \(t\), há finitas chegadas quase certamente, e o número de saídas não pode exceder a população inicial mais essas chegadas. Portanto não há explosão. Os pesos de nascimento e morte são \(2^n/n!\), de modo que \(\pi (n)=e^{-2}2^n/n!\). A taxa média de saída é \(\sum _n(4+2n)\pi (n)=8\) por hora. Logo a estacionária da cadeia de saltos é \(\alpha (n)=(n+2)\pi (n)/4\). De fato,

pois \(\pi (n+1)=2\pi (n)/(n+1)\). Observar saltos dá maior peso a estados em que o relógio toca mais depressa.

Exercício 6.9.

Podemos tomar \(\widetilde X_t=X_{ct}\), portanto \(\widetilde P_t=P_{ct}\). A estacionária, as probabilidades de saída e a matriz da cadeia de saltos permanecem iguais. As durações são divididas por \(c\), trajetória a trajetória; em particular, \(E_i\widetilde H_A=E_iH_A/c\) quando finito.

Exercício 6.16.

As utilizações são \(3/5\) e \(3/4\). A probabilidade de rede vazia é \((2/5)(1/4)=1/10\); o número médio total é \(3/2+3=9/2\). A segunda estação tem maior utilização.

Exercício 6.17.

Em \((m,n)\) com \(m\gt 0\), a transferência para \((m-1,n+1)\) ocorre à taxa \(\mu _1\). Sua inversa direta não é uma transição permitida. As filas são dependentes ao longo do tempo porque uma conclusão na primeira produz uma chegada na segunda; a fatoração da lei em um instante não altera esse mecanismo.

Exercício 6.18.

O vetor de visitas médias é \((1,11/18,71/90,5/9)\) por requisição externa. Com os serviços originais, estabilidade exige \(0\lt a\lt 810/71\) por segundo, e o banco é o gargalo. Com serviço \(12\) no banco, os quatro limites são \(20\), \(180/11\), \(1080/71\) e \(18\). Assim, \(0\lt a\lt 1080/71\approx 15{,}211\) por segundo; o banco continua sendo o gargalo. A igualdade nos limites não é estável.

Exercício 6.10.

Em \(A\), a taxa total é \(1+3=4\) por dia. A média da primeira espera é \(1/4\) de dia, e a máquina 2 falha primeiro com probabilidade \(3/4\), deixando o estado \(B\).

Antes de resolver as equações para o desligamento, verifiquemos a finitude. Em \(B\), a chance de o próximo evento ser a falha definitiva é \(1/(1+2)=1/3\); em \(C\), é \(3/(3+2)=3/5\). Partindo de \(A\), o primeiro salto chega a \(B\) ou \(C\), e o seguinte desliga o sistema com probabilidade ao menos \(1/3\). Logo, de qualquer estado ainda ativo, a chance de absorção nos próximos dois saltos é ao menos \(1/3\). Se \(J\) conta os saltos até a absorção,

As taxas de saída de \(A,B,C\) são \(4,3,5\); cada espera tem média no máximo \(1/3\) de dia. Somando as esperas até \(J\), ou primeiro somando até \(J\wedge n\) e depois usando a fórmula das caudas, concluímos que o tempo médio é no máximo \(E(J)/3\leq 2\) dias.

Sejam \(m_A,m_B,m_C\) as médias até \(F\). Pela análise do primeiro passo,

As parcelas omitidas levam a \(F\), onde o tempo restante é zero. Substituindo as duas primeiras equações na última,

Assim, \((2/5)m_A=11/20\) e

A média \(1/4\) termina na primeira falha. A média \(11/8\) inclui esperas posteriores e possíveis reparos que devolvem o sistema a \(A\).

Exercício 6.11.

Em \(B\), a máquina em reparo é a 2; em \(C\), é a 1. Portanto,

A primeira falha deixa o sistema em \(B\) ou \(C\) com probabilidades \(1/2\) e \(1/2\). Se \(H\) é a permanência seguinte com apenas uma máquina funcionando, sua sobrevivência é

Para \(s\gt 0\),

Se \(\mu _1\ne \mu _2\), a diferença é positiva, contrariando a identidade de falta de memória. Portanto o número de máquinas funcionando, iniciado em duas, não fornece uma cadeia homogênea de Markov nesse modelo. Mesmo com taxas de falha iguais, os reparos diferentes conservam uma informação escondida. Se também \(\mu _1=\mu _2\), as taxas das duas alternativas coincidem e a redução a três estados volta a ser válida.

Exercício 6.12.

Para o carro sair antes de uma nova chegada, a funilaria precisa terminar antes dessa chegada e, depois, a pintura precisa vencer a chegada ainda não ocorrida. Pela falta de memória e independência dos relógios,

A primeira competição tem taxa 3 e média \(1/3\) de hora. Se a chegada vence, o número de carros já mudou. Se a funilaria vence, evento de probabilidade \(2/3\), continua havendo um carro; a competição seguinte entre chegada e pintura tem taxa 5 e média \(1/5\) de hora. Logo,

O valor \(1/3\) acompanha apenas o primeiro evento, que pode ser uma mudança de etapa sem alteração do total.

Exercício 6.13.

Na ordem indicada, o gerador é

As duas últimas diagonais não contêm a taxa de chegadas: uma tentativa recusada conserva o estado. Todos os estados podem chegar ao vazio por conclusões de serviço, e do vazio podemos alcançar os demais por chegadas e mudanças de etapa. A cadeia é finita e irredutível.

Escreva as massas estacionárias como \(\pi _0,\pi _{1F},\pi _{1P}, \pi _{2F},\pi _{2P}\). As equações para \(0,(2,F),(2,P),(1,F)\) dão, nessa ordem,

Pelas duas últimas equações e pelas substituições anteriores, \(3\pi _{1F}=4\pi _{1P}+\pi _{1P}+\pi _{1F}\), de modo que \(\pi _{1F}=(5/2)\pi _{1P}\). Consequentemente,

A soma das cinco massas é \((4+5/2+1+5/4+7/8)\pi _{1P}=(77/8)\pi _{1P}\). Normalizar fornece

A equação restante, \(5\pi _{1P}=2\pi _{1F}\), também é satisfeita. A probabilidade de duas vagas ocupadas em equilíbrio é \(\pi _{2F}+\pi _{2P}=17/77\). A diagonal registra a taxa de mudança real do estado, e não todas as tentativas externas.

Exercício 6.14.

Temos \(a=\lambda /\mu =3\) e \(p=e^{-\mu t}=1/2\). Pela decomposição do Exemplo 6.22,

com \(B\) e \(C\) independentes. A soma é zero somente se ambas as parcelas forem zero; portanto,

As médias e variâncias somam por independência:

No equilíbrio, a lei seria Poisson de parâmetro 3, com variância 3. As variâncias diferentes provam que a distribuição ainda não é a estacionária, apesar da igualdade das médias. De fato, neste exemplo, \(E(X_s)=3\) para todo \(s\geq 0\); a média constante não descreve toda a evolução da distribuição.

Exercício 6.15.

Ponha \(p=e^{-at}\) e \(r=1-p\). As duas famílias independentes têm massas \(pr^{j-1}\) para \(j\geq 1\). Para um total \(n\geq 2\), a primeira família pode ter \(j=1,\ldots ,n-1\) indivíduos e a segunda, \(n-j\). Somando essas possibilidades disjuntas,

Quando \(t=(\log 2)/a\), temos \(p=r=1/2\); logo,

Até atingir cinco indivíduos, a população passa sucessivamente por 2, 3 e 4. As três esperas têm médias \(1/(2a),1/(3a),1/(4a)\). A média do tempo de chegada a cinco é, assim,

Já \(E_2Z_t=2e^{at}\) chega ao valor 5 no instante \(t=\log (5/2)/a\). Esse instante é aproximadamente \(0{,}9163/a\), enquanto a média do tempo de chegada é aproximadamente \(1{,}0833/a\). Atravessar um nível em uma trajetória e atingir esse nível na média são operações diferentes; uma não se obtém invertendo a outra.

Exercício 6.19.

A diferença entre as taxas individuais é \(2-3=-1\) por dia. Pela Proposição 6.16,

Para verificar a probabilidade de já estar extinta, ponha \(x=e^{-t}\). Então \(q=3(1-x)/(3-2x)\) e \(x'=-x\), de modo que a regra do quociente dá

A equação da geradora em \(s=0\) é \(q'=3-5q+2q^2\). Seu lado direito se fatora como \((1-q)(3-2q)\). Na fórmula proposta,

cujo produto é a derivada acima. A condição \(q(0)=0\) também vale; pela unicidade, essa é a probabilidade pedida.

As duas famílias iniciais são independentes. O total fica vazio até \(t\) exatamente quando ambas estão vazias nesse instante. Portanto,

Para calcular a média condicionada à sobrevivência, usamos que a população vale zero no evento complementar:

Em termos de \(x=e^{-t}\),

Assim, a média condicionada é \(2(3-2x)^2/(6-5x)\) e tende a \(3\) quando \(t\to \infty \). A média incondicional tende a zero porque a sobrevivência se torna rara; nas trajetórias que ainda sobrevivem, o tamanho médio não tende a zero.

Exercício 6.20.

As taxas são \(b_n=2n+2\) e \(d_n=5n\). Como \(\nu =\lambda =2\), os pesos são \(w_n=(2/5)^n\), cuja soma é \(5/3\). Logo,

Com \(\nu =4\), o produto dos pesos se simplifica:

Para \(0\leq r\lt 1\), a soma geométrica e sua derivada dão \(\sum _{n\geq 0}(n+1)r^n=1/(1-r)^2\). Portanto,

Em zero, a espera até a próxima imigração é exponencial de taxa \(\nu \). Logo a probabilidade de continuar em zero, sem sair dele durante meio dia, é \(e^{-\nu /2}\): vale \(e^{-1}\) no primeiro caso e \(e^{-2}\) no segundo. Isso não é a probabilidade de estar de volta em zero após meio dia, pois esta última permite chegadas e mortes intermediárias. Sem imigração, zero é absorvente e significa o fim da população. Com imigração, a permanência em zero é somente uma espera por nova chegada.

Exercício 6.21.

O gerador é

Os pesos relativos \(\beta /\alpha ,1,\lambda /\mu \) são \(1,1,2/3\), cuja soma é \(8/3\). Portanto,

A potência está em watts e o fluxo em tarefas por minuto. Duplicar \(\alpha \) dá pesos \(1/2,1,2/3\) e soma \(13/6\). Assim,

O fluxo aumenta em \(12/13-3/4=9/52\) tarefa por minuto, e a potência esperada aumenta em \(22/13-11/8=33/104\) watt. Com uma espera determinística de um minuto, é necessário saber há quanto tempo o equipamento já dorme. Se acabou de entrar em \(D\), não acordará nos próximos poucos segundos; se entrou há quase um minuto, acordará nesse intervalo. O mesmo estado \(D\) passa a admitir previsões diferentes conforme o passado. Acrescentar a idade do sono ao estado conserva a informação que a descrição de três estados perdeu.

Exercício 6.22.

Quando o principal falha em \(A\), o sorteio de comutação divide a taxa \(1/10\) nas proporções \(4/5\) e \(1/5\). Portanto, \(q(A,B)=2/25\) e \(q(A,M)=1/50\). As taxas restantes foram especificadas diretamente no enunciado, e cada diagonal é o negativo da saída total:

A taxa de saída em \(M\) é \(2+1/5=11/5\), menor que \(\Lambda =3\). As outras saídas também são menores que três, logo a uniformização é válida. Sua matriz é

Como \(F\) é absorvente, \(H_F\gt t\) equivale a estar em \(A,B\) ou \(M\) em \(t\). Assim, \(S(t)\) é a probabilidade de ainda não ter ocorrido perda definitiva, mesmo que o serviço esteja temporariamente interrompido. A disponibilidade \(D(t)\) conta somente \(A,B\) no instante \(t\). Já \(I(t)\) exige que nenhum estado de interrupção tenha sido visitado até \(t\). Pelas inclusões de eventos,

e obtemos as desigualdades. Uma trajetória que já passou por \(M\) e voltou a \(B\) é contada por \(S\) e \(D\), mas foi excluída de \(I\) para sempre.

Para computar \(I\), use estados \(A,B,L\), em que \(L\) registra a primeira interrupção e é absorvente. O gerador dessa cadeia é

Até atingir \(M\) ou \(F\), a cadeia original e essa cadeia percorrem os mesmos estados \(A,B\) com as mesmas taxas. Depois disso, a segunda permanece em \(L\); portanto \(I(t)\) é a soma das suas probabilidades em \(A,B\).

Para qualquer uma das duas matrizes \(V=U,U_I\), comece com o vetor-linha \(v_0\) concentrado em \(A\) e calcule sucessivamente

A aproximação da distribuição em \(t\) é \(\sum _{n=0}^m w_nv_n\). Isso requer somente produtos de vetor por matriz e a recorrência dos pesos de Poisson. Cada \(v_n\) é um vetor de probabilidade, pois \(V\) é estocástica. Logo, para qualquer conjunto \(C\) de estados,

Para controlar a cauda sem somar infinitamente, escreva \(b=3t\). Se \(m+2\gt b\), a razão entre pesos consecutivos a partir de \(w_{m+1}\) é no máximo \(b/(m+2)\). Comparar com a série geométrica dá

Para \(t\leq 10\) e \(m=70\), essa cota é menor que \(1{,}5\cdot 10^{-10}\). Pode-se conferir a cota em \(b=30\) usando a mesma recorrência dos pesos; ela é crescente para \(0\lt b\leq 30\), pois \(b^{71}e^{-b}\) é crescente nesse intervalo e \(1-b/72\) é decrescente.

O resultado numérico, arredondado a seis casas, é

O erro de truncamento é muito menor que o erro de arredondamento da tabela.

Para as médias de chegada, escreva \(t_A,t_B,t_M\) para as esperanças até \(F\). Os estados transientes formam um conjunto finito, e de cada um há um caminho de taxas positivas até \(F\). O argumento de tentativas repetidas usado nos problemas de saída garante chegada quase certa e média finita. Uma análise de primeiro passo dá

Por exemplo, em \(B\) a espera média é \(1/(6/5)=5/6\), e o reparo vence a falha com probabilidade \(1/(6/5)=5/6\); a outra opção chega a \(F\) e não acrescenta tempo futuro. Substituindo a terceira equação na primeira,

Substituir \(t_B=(5/6)(1+t_A)\) fornece \(t_A=120/11+(9/11)t_A\), logo \(t_A=60\) horas. As demais médias são \(t_B=305/6\) e \(t_M=140/3\) horas.

Para a primeira interrupção, os estados-alvo são \(M,F\) e restam somente \(s_A,s_B\):

Portanto \(s_A=10+2/3+(2/3)s_A\), dando \(s_A=32\) horas. A taxa de comutação manual só governa o que acontece depois da primeira visita a \(M\). Por isso ela pode mudar a recuperação do serviço e a probabilidade de perda definitiva, mas não muda a lei do primeiro tempo de interrupção nem \(I(t)\).

Martingais

Exercício 7.1.

Em \(\{ Y\leq 4\} \), \(M_0=5/2\); no complemento, \(M_0=13/2\). As quatro partes de \(\mathcal F_1\) são \(\{ 1,3\} \), \(\{ 2,4\} \), \(\{ 5,7\} \) e \(\{ 6,8\} \); nelas, \(M_1\) vale, respectivamente, \(2,3,6,7\). Finalmente, \(M_2=Y\). Dentro de cada parte de \(\mathcal F_0\), as duas novas partes têm probabilidades condicionais iguais, dando médias \(5/2\) e \(13/2\). Dentro de cada parte de \(\mathcal F_1\), a média de \(Y\) é o valor indicado para \(M_1\). Isso verifica as duas identidades condicionais. O processo constante igual a \(Y\) não é adaptado, pois seu valor não pode ser determinado com a informação \(\mathcal F_0\).

Exercício 7.2.

A primeira estratégia é previsível e limitada; sua riqueza é um martingal de média zero. Na segunda, cada ganho é \(K_n\xi _n=\xi _n^2=1\), logo a riqueza vale \(n\). Essa escolha usa o resultado da própria rodada e não é previsível. Integrabilidade e limitação não corrigem a antecipação.

Exercício 7.3.

O tempo \(T\) é finito quase certamente pelo argumento de caminhos em um intervalo finito. Se \(u=\mathbb {P}(S_T=3)\), a parada de \(S_n\) dá \(0=-2(1-u)+3u\), logo \(u=2/5\). A dominadora é a constante 3. Para \(S_n^2-n\), primeiro paramos em \(T\wedge n\) e usamos \(S_{T\wedge n}^2\leq 9\) e \(T\wedge n\uparrow T\):

Não se aplica diretamente o teorema da parada limitada ao processo \(S_n^2-n\), pois seu termo temporal não é limitado uniformemente em \(n\).

Exercício 7.4.

Um bloco de quatro ensaios contém quatro sucessos com probabilidade \(0{,}3^4\gt 0\), independentemente dos outros blocos. Se \(G\) é o índice do primeiro bloco assim, \(T\leq 4G\) e \(E(T)\leq 4/0{,}3^4\lt \infty \). Para \(\xi _k\) indicadora de sucesso, \(\sum _{k=1}^{T}\xi _k=4\). Wald fornece \(E(T)=4/0{,}3=40/3\) ensaios. A verificação prévia permite usar a identidade sem pressupor a finitude da média que queremos encontrar.

Exercício 7.5.

A média condicional da binomial é \(X_n\), de modo que \(X\) é martingal limitado. Usando sua variância condicional,

o que prova a afirmação sobre \(U_n\), integrável em cada instante por \(0\leq X_n(6-X_n)\leq 9\). De qualquer estado interno, a probabilidade de saltar para 0 no passo seguinte é ao menos \((1/6)^6\). Assim, a cauda do tempo \(T\) de absorção é limitada por uma cauda geométrica. Pela parada limitada de \(X\), \(2=E(X_T)=6\mathbb {P}(X_T=6)\), logo a fixação tem probabilidade \(1/3\). Finalmente, \(E[X_n(6-X_n)]=8(5/6)^n\).

Exercício 7.6.

Os fatores são independentes, não negativos e de média 1. Portanto \(E(M_n)=1\) e a propriedade de martingal segue ao condicionar no próximo fator. Além disso,

A lei dos grandes números se aplica porque \(E|\log (2U_1)|\lt \infty \). Logo \(M_n\to 0\). Se uma variável integrável \(Y\) dominasse todos os \(M_n\), a primeira regra da Proposição 7.8 daria \(E(M_n)\to 0\), contradizendo a média constante 1.

Exercício 7.7.

Temos \(\phi (b)=\sum _{j=0}^{b-1}3^{-j}=\frac32(1-3^{-b})\), portanto \(\mathbb {P}_1(H_0\lt \infty )=1/3\). Com \(p_0=0\), o estado é absorvente e \(\mathbb {P}_0(T_0^+\lt \infty )=1\). Com \(p_0=2/5\), essa probabilidade é \(3/5+(2/5)(1/3)=11/15\lt 1\): o estado é transiente. O mesmo limite finito de \(\phi \) produz classificações diferentes porque a regra na fronteira mudou.

Exercício 7.8.

Pelo limite \(T\leq N\),

A indicadora de \(\{ T\geq k\} \) é determinada pela informação até \(k-1\). Portanto, \(ED_k^2=\sigma ^2\mathbb P(T\geq k)\). Para \(j\lt k\), o produto \(D_j\mathbf1_{\{ T\geq k\} }\) também é conhecido até \(k-1\), enquanto \(E(\xi _k\mid \mathcal F_{k-1})=0\). Logo \(E(D_jD_k)=0\). Somando, pela fórmula de caudas para variáveis inteiras limitadas,

Não foi necessária nenhuma passagem ao limite.

Exercício 7.9.

O mecanismo de reprodução dá \(E(Z_{n+1}\mid \mathcal F_n)=mZ_n\). Dividir por \(m^{n+1}\) prova a propriedade de martingal; \(E(W_n)=k\) garante integrabilidade. No regime \(m\lt 1\), a extinção ocorre quase certamente, e depois dela \(W_n=0\). Logo \(W_n\to 0\) quase certamente, sem convergência das médias. Como no exemplo do produto, não existe dominadora integrável para toda a sequência.

Exercício 7.10.

Para \((0,1,1,1,1)\), os valores são \(0{,}6\), \(0{,}84\), \(1{,}176\), \(1{,}6464\) e \(2{,}30496\). Para \(\alpha =0{,}01\), o limiar é 100; são necessárias \(\lceil \log (100)/\log (1{,}4)\rceil =14\) conversões consecutivas desde o início.

Exercício 7.11.

Para cada \(m\), o processo parado ainda é martingal e tem esperança 1. A não negatividade permite descartar a contribuição de \(\{ T_c\gt m\} \) e obter \(1\geq c\mathbb P(T_c\leq m)\). Passamos ao limite nas probabilidades de eventos crescentes, não na esperança de \(L_{T_c}\). Se o martingal pudesse ser negativo, a contribuição descartada poderia ser negativa, invalidando a desigualdade.

Exercício 7.12.

Linearidade preserva a propriedade de martingal, e a média das duas razões é não negativa e começa em 1; Ville se aplica. O máximo não preserva a média condicional: com \(a=0{,}7\), \(b=0{,}3\) e uma única observação Bernoulli\((1/2)\), o máximo das razões é sempre \(1{,}4\), embora o máximo inicial seja 1. Logo nem sequer é um supermartingal.

Exercício 7.13.

Os reforços são \(q_1=1/2\) e \(q_2=1/4\). As duas escolhas têm probabilidade \(1/2\). Se o caminho \(1\) é escolhido, \(Z_1=(3/2)/(5/2)=3/5\); se o caminho \(2\) é escolhido, \(Z_1=1/(9/4)=4/9\). Logo,

Em um passo geral, os incrementos possíveis são \(q_1(1-Z_n)/(S_n+q_1)\) e \(-q_2Z_n/(S_n+q_2)\), com probabilidades \(Z_n\) e \(1-Z_n\). Sua média condicionada é

A convergência quase certa, mesmo com incrementos de esperança condicional positiva, não determina o valor do limite. Por exemplo, a sequência determinística \(W_n=3/4-1/[4(n+1)]\) começa em \(1/2\), tem incrementos positivos e converge a \(3/4\). No modelo dos caminhos, a conclusão \(Z_n\to 1\) exige o argumento adicional do teorema de seleção.

Métodos de Monte Carlo via cadeias de Markov

Exercício ??.

A matriz é simétrica, portanto a estacionária é \(\pi =(1/2,1/2)\). Em equilíbrio, \(E_\pi f=0\) e \(\operatorname {Var}_\pi (f)=1\). Em ambos os estados, a esperança do sinal após um passo é o sinal atual multiplicado por \(1-2\delta \). Iterando,

Consequentemente,

Para \(\delta =1/5\), temos \(\tau _f=4\) e \(N_{\mathrm{ef}}\approx 1900/4=475\). Para \(\delta =1/20\), temos \(\tau _f=19\) e \(N_{\mathrm{ef}}\approx 1900/19=100\). A distribuição estacionária é a mesma, mas a cadeia que troca de estado com menor frequência guarda correlação por mais tempo e produz uma média menos precisa com o mesmo número de passos.

Exercício ??.

Os pesos são \(\theta ^2(1-\theta )^2\), proporcionais a \((9,16,9)\). Assim, \(\pi =(9,16,9)/34\) e a média é \(1/2\). A matriz é

Nas duas arestas, os fluxos valem \(9/68\); logo há balanço detalhado e \(\pi P=\pi \). Por linearidade, \(\pi P_\varepsilon =\pi \). Para \(\varepsilon \gt 0\), a cadeia é irredutível e tem permanências. Para \(\varepsilon =0\), \(P_0=I\): cada trajetória fica onde começou e as médias geralmente não convergem para a esperança posterior, embora \(\pi \) ainda seja estacionária.

Exercício ??.

Dado que a outra variável vale 0, a probabilidade de sortear 1 é \(3/10\); dado 1, é \(7/10\). Portanto,

Por exemplo, \(\pi (00)P(00,01)=21/400=\pi (01)P(01,00)\); as outras arestas seguem pela simetria e dão \(\pi P=\pi \). A chance de mudar a partir de \(00\) é \(3/10\). Toda proposta é aceita, mas a condicional pode sortear o valor atual. No caso de massa somente em \(00\) e \(11\), cada condicional é determinística: os dois estados são absorventes, e a cadeia não percorre o suporte inteiro.

Exercício ??.

A média-alvo é zero. A discordância entre execuções mostra que elas ainda não atravessaram adequadamente as duas regiões de massa. Os tamanhos efetivos são aproximadamente \(8000/2{,}934\approx 2727\) e \(8000/77{,}676\approx 103\). A estabilidade dentro de um único modo não demonstra equilíbrio global.

Exercício ??.

Dos extremos para o centro, a aceitação é \(1/2\); do centro para os extremos, é 1. Logo

A matriz é simétrica, e os fluxos sob a uniforme são \(1/6\) nas arestas. A proposta sem correção teria estacionária \((1,2,1)/4\), proporcional aos graus. Num espaço unitário, definimos \(q(x,x)=1\).

Exercício ??.

A condição \(\frac12(0{,}96)^n\leq 0{,}05\) dá

em comparação com 11 para \(\delta =0{,}1\). Condicionalmente à separação inicial, \(T\) é geométrico em \(\{ 1,2,\ldots \} \) com parâmetro \(2\delta \), logo sua média é 25 passos.

Exercício ??.

Se as cópias podem se separar, o evento \(\{ T\leq n\} \) não garante igualdade em \(n\); assim \(\{ X_n\ne Y_n\} \) pode conter trajetórias que já se encontraram. Rode cópias independentes até o primeiro encontro e, depois dele, use uma nova sequência comum de uniformes para as transições. O par independente é Markov e seu encontro é um tempo de parada. A propriedade forte de Markov permite recomeçar do estado encontrado com a lei correta; a nova aleatoriedade comum mantém as duas cópias juntas e preserva cada lei marginal.

Exercício ??.

Se \(\mathcal F_n\) contém a história do par até \(n\), a hipótese dá

Iterar prova a cota. Para \(0\lt \eta \lt 1\) e \(0\lt \varepsilon \lt 1\), basta escolher \(B=\lceil \log (\varepsilon )/\log (1-\eta )\rceil \), usando \(\mathbb {P}(T\gt 0)\leq 1\) e a desigualdade de acoplamento. A distância marginal é então no máximo \(\varepsilon \) para todo estado inicial e todo \(n\geq B\). Para \(\eta =1\), o encontro ocorre até o primeiro passo e \(B=1\) basta. A garantia não torna independentes as observações retidas.

Movimento browniano

Exercícios principais

Exercício ??.

Por \(\operatorname {Cov}(W_s,W_t)=s\), \(\operatorname {Corr}(W_s,W_t)=\sqrt{s/t}\). Além disso, \(W_t=W_s+(W_t-W_s)\), com o segundo termo independente do primeiro; logo \(W_t\mid W_s=b\sim N(b,t-s)\). A correlação tende a zero quando \(t\to \infty \), pois a parcela de variância produzida depois de \(s\) cresce, enquanto a covariância permanece igual a \(s\).

Exercício ??.

Escreva \(2W_1-W_3=W_1-(W_3-W_1)\). Os termos à direita são independentes, com variâncias \(1\) e \(2\); portanto a diferença tem distribuição \(N(0,3)\). \(W_1\) e \(W_3-W_1\) são independentes pelos incrementos brownianos. Já \(\operatorname {Cov}(W_1,2W_1-W_3)=2-1=1\), de modo que esse segundo par não é independente.

Exercício ??.

Para \(Z=W_t-W_s\), temos \(EZ=EZ^3=0\) e \(EZ^2=t-s\), independentemente da informação \(\mathcal F_s\). Assim,

O processo é adaptado e integrável, pois normais possuem todos os momentos absolutos finitos.

Exercício ??.

O limite é \(\sigma ^2T\) nos dois casos. Para explicitar o efeito da deriva, escreva \(h_j=t_{j+1}-t_j\) e \(\Delta _jW=W_{t_{j+1}}-W_{t_j}\). Então

O primeiro termo converge em média quadrática para \(\sigma ^2T\). O último é limitado por \(\mu ^2T|\pi |\). O termo intermediário é centrado e tem variância \(4\mu ^2\sigma ^2\sum _jh_j^3\leq 4\mu ^2\sigma ^2T|\pi |^2\), que tende a zero. Isso justifica o mesmo limite em média quadrática.

Exercício ??.

Para \(t\gt 0\) e \(x\geq 0\), \(\mathbb P(M_t\leq x)=2\Phi (x/\sqrt t)-1\); para \(x\lt 0\), a probabilidade é zero. A densidade em \(x\gt 0\) é

Como \(M_t\stackrel d=|W_t|\), \(EM_t=\sqrt{2t/\pi }\) e \(\operatorname {Var}(M_t)=t(1-2/\pi )\). Em comparação, \(EW_t=0\) e \(\operatorname {Var}(W_t)=t\).

Exercício ??.

Pela reflexão, \(2[1-\Phi (b/(0{,}6\sqrt9))]=0{,}02\). Portanto \(b=1{,}8\Phi ^{-1}(0{,}99)\approx 4{,}1874\).

Exercício ??.

Em \((0,1)\), use \(\mathbb P(T_a\gt t)\leq 1\) e \(\int _0^1t^{p-1}\, \mathop{}\! \mathrm{d}t=1/p\). Para \(t\) grande, \(\mathbb P(T_a\gt t)\sim \sqrt{2/\pi }\, a\, t^{-1/2}\). O integrando da fórmula de caudas é, portanto, comparável a \(t^{p-3/2}\). Sua integral em \((1,\infty )\) é finita exatamente quando \(p\lt 1/2\). Para \(p=1/2\), a divergência é logarítmica.

Exercício ??.

A probabilidade de saída por \(8\) é \((2+1)/(8+1)=1/3\). O tempo médio é \((2+1)(8-2)/\sigma ^2=18/\sigma ^2\). Igualá-lo a \(6\) fornece \(\sigma =\sqrt3\).

Exercício ??.

Pelo Exemplo ??,

Duplicar \(\sigma \), mantendo \(p\) e \(m\), exige duplicar as duas distâncias. Quadruplicar \(m\), mantendo \(p\) e \(\sigma \), também exige duplicá-las. Quando \(p\downarrow 0\), temos \(a\downarrow 0\) e \(b\to \infty \), com \(ab=m\sigma ^2\) constante. A fronteira inferior se aproxima do ponto inicial e torna mais provável a saída por baixo; a fronteira superior se afasta para conservar a duração média prescrita.

Exercício ??.

O tempo \(t\wedge T_a\) é limitado, então a Proposição ??, com a cota do supremo demonstrada na mesma seção, fornece \(EW_{t\wedge T_a}=EW_0=0\). Como \(T_a\lt \infty \) quase certamente, em quase toda trajetória o processo parado acaba constante e igual a \(a\). Para cada \(t\), \(W_{t\wedge T_a}\leq a\); logo

A esperança do erro absoluto permanece positiva, apesar da convergência quase certa. Na saída de um intervalo, os valores parados ficam entre duas constantes e a primeira regra da Proposição 7.8 preserva a esperança no limite. Aqui há apenas uma barreira superior.

Exercícios complementares

Exercício ??.

Combinações lineares de vetores gaussianos são gaussianas, e as condições nas extremidades seguem da definição. Expandindo a covariância,

Também \(\operatorname {Cov}(\beta _t,W_T)=t-(t/T)T=0\) para todo \(t\). Cada vetor finito da ponte é conjuntamente gaussiano com \(W_T\) e tem covariâncias cruzadas nulas; pela Observação ??, é independente de \(W_T\). Isso dá a independência do processo e do valor final.

Exercício ??.

As somas de Riemann da área têm média zero e convergem quase certamente. Seus módulos são limitados por \(tR_t\); os produtos de duas somas são limitados por \(t^2R_t^2\), que tem esperança finita. A Proposição 7.8 justifica, portanto, passar as médias e covariâncias ao limite. Para \(0\lt s\leq t\),

Tomando \(s=t\), obtemos \(\operatorname {Var}(A_t)=t^3/3\).

Exercício ??.

Completando o quadrado no expoente da integral gaussiana,

Pondo \(D=1+2\lambda t\), temos \(u_t/u=-\lambda /D+2\lambda ^2x^2/D^2\) e \(u_{xx}/u=-2\lambda /D+4\lambda ^2x^2/D^2\). Logo \(u_t=u_{xx}/2\), e \(u(0,x)=e^{-\lambda x^2}\).

Exercício ??.

A condição \((r/\rho )^{d-2}=1/4\) fornece \(\rho /r=4^{1/(d-2)}\). As razões são \(4\), \(2\) e \(\sqrt2\) para \(d=3,4,6\), respectivamente.

Exercício ??.

No plano, a probabilidade é \(\log (9/3)/\log (9/1)=1/2\). Em dimensão três,

Exercício ??.

Fixe \(n\geq 1\). No instante \(1/n\), a posição tem densidade e é diferente da origem quase certamente. Condicionando nessa posição e usando Markov, a probabilidade de atingir a origem depois de \(1/n\) é zero, pois um movimento browniano planar iniciado fora de um ponto fixado não o alcança. Assim, quase certamente não há retornos após \(1/n\). A união dos eventos excepcionais sobre \(n\) continua tendo probabilidade zero e cobre a possibilidade de qualquer retorno em um instante positivo.

Integração estocástica

Exercícios principais

Exercício ??.

As variáveis \((-1)^{k-1}\xi _k\) continuam independentes, com probabilidades \(1/2\) de valer \(1\) ou \(-1\). Portanto \(I_n\) tem a mesma distribuição de \(S_n\), média zero e variância \(n\). Mais explicitamente,

Exercício ??.

A integral é \(W_1(W_2-W_1)+2W_2(W_4-W_2)\). Sua média é zero e, pela isometria, sua variância é

No produto cruzado, \(W_1(W_2-W_1)2W_2\) já é conhecido no tempo \(2\). Condicionar em \(\mathcal F_2\) deixa o fator \(W_4-W_2\), de média condicional zero. A dependência entre os coeficientes não impede esse cancelamento.

Exercício ??.

O vetor é gaussiano, pois qualquer combinação linear de suas coordenadas é uma integral com integrando determinístico. Sua matriz de covariâncias é

A soma da segunda e da terceira coordenadas é \(tW_t\). Assim, o vetor está contido em um plano e a matriz é singular.

Exercício ??.

A condição da fórmula de Itô é satisfeita, pois

Itô fornece

Portanto a integral pedida é \(W_t^4/4-(3/2)\int _0^t W_s^2\, \mathop{}\! \mathrm{d}s\). A isometria e o sexto momento da normal dão

Exercício ??.

Para \(f(t,x)=e^{t/2}\sin x\), temos \(f_t+f_{xx}/2=0\). Assim,

O integrando satisfaz \(E\int _0^T e^s\cos ^2W_s\, \mathop{}\! \mathrm{d}s\leq e^T-1\lt \infty \), portanto o processo é um martingal. Como \(E\cos (2W_t)=e^{-2t}\),

Exercício ??.

A diferença entre as somas é

Taylor dá

onde \(\omega \) é um módulo de continuidade de \(f'\) no compacto visitado pela trajetória. O primeiro fator tende a zero quase certamente, e a soma dos quadrados converge a \(t\) em probabilidade; por isso o resto tende a zero em probabilidade. Como \(f'\) é limitada, (??) mostra que a soma principal tem o mesmo limite que \(\sum _k f'(W_{t_k})\Delta t_k\), isto é, \(\int _0^t f'(W_s)\, \mathop{}\! \mathrm{d}s\). A soma à esquerda converge à integral de Itô pela aproximação de integrandos contínuos limitados. Logo a soma à direita converge à integral de Itô mais esse termo.

Exercício ??.

Pela identidade (??) com \(K_s=1\), a integral é \(W_{t\wedge \tau }\). A isometria fornece

O lado esquerdo é no máximo \(a^2\). Pela fórmula de caudas,

O limite dessa integral imprópria dá \(E\tau \leq a^2\); logo \(\tau \lt \infty \) quase certamente. A continuidade dá \(W_\tau ^2=a^2\). Como \(W_{t\wedge \tau }^2\leq a^2\), a regra para variáveis limitadas da Proposição 7.8, aplicada à identidade anterior, conclui \(E\tau =a^2\).

Exercício ??.

A distribuição lognormal fornece, para todo \(p\in \mathbb R\),

Pelo limite de \(t^{-1}\log X_t\) obtido no texto, se \(\mu \lt \sigma ^2/2\), então \(X_t\to 0\) quase certamente; se \(\mu \gt \sigma ^2/2\), então \(X_t\to \infty \) quase certamente. Na igualdade, \(X_t=xe^{\sigma W_t}\). A recorrência, aplicada simultaneamente aos níveis inteiros positivos e negativos, dá

Se \(0\lt \mu \lt \sigma ^2/2\), as trajetórias tendem a zero, embora \(E X_t=xe^{\mu t}\to \infty \). Não existe, nesse caso, uma variável integrável que domine todos os \(X_t\); tal cota faria as esperanças convergirem a zero pela Proposição 7.8.

Exercício ??.

Para \(s\leq t\) e condição inicial determinística, a isometria polarizada dá

Com a condição inicial normal independente, ampliamos a informação inicial para incluir \(X_0\). Os incrementos brownianos continuam independentes do passado, pela independência de \(X_0\) e \(W\). O termo inicial acrescenta \((\sigma ^2/(2\theta ))e^{-\theta (s+t)}\) à covariância. O resultado é

O processo é gaussiano: toda combinação linear de suas posições é a soma de um múltiplo da condição inicial normal com uma integral de integrando determinístico independente dela. Sua média é constante e suas covariâncias dependem apenas das diferenças de tempo. Pela Observação ??, todas as distribuições em um número finito de instantes são invariantes por translação temporal.

Exercício ??.

Para \(Y_t=X_t-m\), Itô dá

A representação explícita fornece segundos momentos contínuos e limitados em horizontes compactos. Assim, \(E\int _0^T4\sigma ^2Y_s^2\, \mathop{}\! \mathrm{d}s\lt \infty \), e a integral estocástica tem esperança zero. Segue que \(q'(t)=-2\theta q(t)+\sigma ^2\), com \(q(0)=(x-m)^2\). Portanto,

Subtrair \([E(X_t-m)]^2\) recupera a variância indicada no capítulo.

Exercício ??.

Escreva \(r=1-\theta h\). A recorrência é \(X_{k+1}^{(h)}-m=r(X_k^{(h)}-m)+\sigma \sqrt h\, Z_{k+1}\). Portanto,

Se \(r^2\ne 1\), a soma é \((1-r^{2k})/(1-r^2)\). Os valores exatos em \(t=kh\) substituem \(r^k\) por \(e^{-\theta kh}\) e a variância pela expressão (??). Para \(h\gt 0\), a variância numérica permanece limitada se, e somente se, \(|r|\lt 1\), isto é, \(0\lt \theta h\lt 2\). Na fronteira \(\theta h=2\), ela cresce como \(k\sigma ^2h\).

Exercício ??.

Pela isometria, o erro quadrático médio é

Como \(\sum _k(t_{k+1}-t_k)=t\), Cauchy–Schwarz dá \(\sum _k(t_{k+1}-t_k)^2\geq t^2/n\). A igualdade ocorre precisamente quando todos os intervalos têm comprimento \(t/n\). Logo a partição uniforme minimiza o erro, cujo mínimo é \(t^2/(2n)\).

Exercícios complementares

Exercício ??.

Escreva \(D_k=\xi _k\mathbf1_{\{ T\geq k\} }\). A indicadora é conhecida no instante \(k-1\). Logo \(ED_k^2=\sigma ^2\mathbb P(T\geq k)\) e, para \(j\lt k\), condicionar na história até \(k-1\) dá \(E(D_jD_k)=0\). Portanto,

A cauda da série que representa \(ET\) tende a zero. Pela completude, \(S_{T\wedge n}\) tem um limite em média quadrática. Como \(ET\lt \infty \), temos \(T\lt \infty \) quase certamente e \(S_{T\wedge n}\to S_T\) quase certamente. A unicidade do limite em probabilidade identifica os dois limites. Em particular, \(E|S_{T\wedge n}-S_T|^2\to 0\). Pela desigualdade triangular para a norma quadrática,

A identidade para a parada limitada dá \(E S_{T\wedge n}^2=\sigma ^2E(T\wedge n)\). A fórmula de caudas faz \(E(T\wedge n)\to ET\), concluindo \(E S_T^2=\sigma ^2ET\).

Exercício ??.

Pela representação \(A_t=\int _0^t(t-r)\, \mathop{}\! \mathrm{d}W_r\),

O par \((A_t,W_s)\) é gaussiano. Pela Observação ??, a variável \(R=A_t-(t-s/2)W_s\) é independente de \(W_s\). Sua variância é

Logo \(A_t\mid W_s=b\) tem distribuição normal com média \((t-s/2)b\) e variância \(v\). Quando \(s\uparrow t\), recuperamos a média \(tb/2\) e a variância \(t^3/12\) do Exemplo ??.

Exercício ??.

Aqui \(-2\mu /\sigma ^2=0{,}625\). Logo

Numerador e denominador da primeira razão são negativos, dando uma probabilidade positiva. A deriva negativa reduz a chance de sair pelo extremo superior em relação ao valor \(1/3\) sem deriva.

Exercício ??.

Com \(p_u\) a densidade normal de variância \(u\),

As derivadas do núcleo são integráveis para \(t\lt T\). Diferenciar sob a integral e usar \(\partial _up_u=\tfrac 12\partial _{xx}p_u\) dá \(w_t+\tfrac 12w_{xx}=0\). Em \([0,T-\varepsilon ]\), \(w_x\) é limitada, portanto Itô mostra que \(w(t,W_t)\) é um martingal nesse intervalo. Além disso, \(|w|\leq \| g\| _\infty \). Quando \(t\uparrow T\), temos \(W_t\to W_T\) e a normal usada na integral tem variância \(T-t\to 0\). A continuidade de \(g\) perto de \(W_T\), junto com sua limitação fora dessa vizinhança, dá \(w(t,W_t)\to g(W_T)\) quase certamente. A limitação permite passar ao limite em esperança e em esperança condicional. Assim, \(w(t,W_t)=E[g(W_T)\mid \mathcal F_t]\).

Modelos estocásticos em inteligência artificial

Exercícios principais

Exercício ??.

A fórmula segue de \(J_{ij}=\xi _i\xi _j/4\). Escreva \(q_j=\xi _j s_j\), igual a \(1\) no acerto e a \(-1\) no erro. Se há um erro, a soma dos outros três \(q_j\) vale \(3\) para a unidade incorreta e \(1\) para cada unidade correta. A primeira troca para o sinal da memória; as demais conservam seus sinais. Com dois erros, atualizar uma unidade incorreta produz um estado com um erro, que termina em \(\xi \). Atualizar uma correta produz três erros, e a mesma análise relativa a \(-\xi \) mostra a recuperação dessa outra memória. Cada tipo de unidade é escolhido primeiro com probabilidade \(1/2\), e as escolhas posteriores acabam visitando a unidade que falta corrigir quase certamente.

Exercício ??.

Enquanto a unidade \(2\) não é sorteada, o estado não muda. Logo \(\mathbb P(\tau =k)=(1-p_2)^{k-1}p_2\) para \(k\geq 1\), \(\mathbb P(\tau \gt n)=(1-p_2)^n\) e \(E\tau =1/p_2\). Para \(p_2=1/2\), a exigência \(1-2^{-n}\geq 0{,}99\) equivale a \(n\geq \log (100)/\log 2\). O menor inteiro é \(7\).

Exercício ??.

Com dois erros, \(\sum _jq_j=0\). Portanto, para cada unidade, \(\sum _{j\ne i}q_j=-q_i\), e a atualização simultânea troca todos os \(q_i\) de sinal. O novo estado é \(-s\), que também tem dois erros; a atualização seguinte retorna a \(s\). Os estados \(s\) e \(-s\) são distintos, de modo que o período é dois. A Proposição ?? supõe que apenas uma unidade muda por vez. Quando várias mudam simultaneamente, os termos de interação entre elas não são calculados pela mesma diferença de uma coordenada.

Exercício ??.

Em \(\xi \), cada unidade tem campo de módulo \(3/4\) e sinal correto. A probabilidade de sair no próximo passo é \(\ell (-3\beta /2)=1/(1+e^{3\beta /2})\). A probabilidade de observar especificamente \(\xi \) no equilíbrio é

Quando \(\beta \to 0\), essas probabilidades tendem, respectivamente, a \(1/2\) e \(1/16\). Quando \(\beta \to \infty \), tendem a \(0\) e \(1/2\). No segundo limite, a massa de equilíbrio se divide entre as duas diagonais. Esses são limites das fórmulas para temperaturas positivas.

Exercício ??.

Os dois valores da oculta têm probabilidade \(1/2\). Assim, \(E V_1=(3/4+1/4)/2=1/2\), e o mesmo vale para todos os pixels. Condicionalmente à oculta, os pixels são independentes. Logo,

Subtraindo \((1/2)^2\), obtemos \(\operatorname {Cov}(V_1,V_4)=1/16\) e \(\operatorname {Cov}(V_1,V_2)=-1/16\). A oculta favorece conjuntamente dois pixels concordantes e favorece sinais opostos nos pixels de posições distintas da diagonal. A mistura sobre a oculta introduz dependência nas marginais.

Exercício ??.

A razão dos pesos ocultos é \(e^{b_1-2\lambda }\). Para que ela seja \(r/(1-r)\), tome

Com \(r=4/5\), as chances iniciais a favor de \(T\) são quatro. A imagem com o pixel \(8\) apagado tem razão de verossimilhanças \(3^4=81\). As chances posteriores são \(324\), e a probabilidade é \(324/325\).

Exercício ??.

Como \(\partial \mathcal E/\partial a_i=-v_i\), a derivada do termo dos dados é o próprio pixel observado; a derivada da normalização é a média do pixel no modelo. Portanto,

Analogamente, \(\partial \mathcal E/\partial b_j=-h_j\) fornece

No segundo caso, os dados não revelam a oculta, e por isso sua contribuição é uma esperança condicional. As médias finais nas duas fórmulas são tomadas sob a distribuição conjunta do modelo.

Exercício ??.

A média do produto dos \(k\) sinais de ruído é \((1/2)^k\). Assim,

A condição \(e_k\geq 0{,}49\) equivale a \(2^{-k}\leq 0{,}02\), cujo menor inteiro é \(k=6\). Para cada valor inicial do pixel, a probabilidade de cada sinal tende a \(1/2\). Em dimensão finita, a independência condicional das corrupções também leva à convergência da distribuição da imagem para a uniforme.

Exercício ??.

As chances iniciais são \((4/5)/(1/5)=4\). Com um erro em relação a \(\xi \), a razão de verossimilhanças é \(3^2=9\), e as chances posteriores são \(36\). Logo a probabilidade de \(\xi \) é \(36/37\). Com dois erros, as verossimilhanças são iguais; a probabilidade posterior permanece \(4/5\).

Exercício ??.

Para quaisquer \(x,y\), \(Q_K(x,y)=2^{-d}\). Portanto,

o que prova a independência e a uniformidade. Pela fórmula de Bayes, \(R_K(y,x)=p_{K-1}(x)\). O novo sorteio escolhe um predecessor dessa distribuição. A ausência de informação em \(y\) deixa a distribuição anterior inalterada, em vez de determinar um predecessor único.

Exercício ??.

Temos \(E X_0=0\) e \(\operatorname {Cov}(X_0)=\xi \xi ^{\mathsf T}\). Pela representação marginal com ruído independente,

A distribuição não é normal multivariada para \(0\lt \overline\alpha _k\lt 1\). Para verificar, projete sobre \(u=\xi /\| \xi \| \) e ponha \(a=\sqrt{\overline\alpha _k}\| \xi \| \gt 0\), \(v=1-\overline\alpha _k\). A projeção tem a lei de \(aC+\sqrt v Z\), com \(C\) um sinal justo independente da normal padrão \(Z\). Seu segundo momento é \(a^2+v\), e seu quarto momento é \(a^4+6a^2v+3v^2\). Uma normal centrada com a mesma variância teria quarto momento \(3(a^2+v)^2\), maior por \(2a^4\). Logo ao menos uma projeção não é normal.

Exercício ??.

Como \(\overline\alpha _k=\alpha _k\overline\alpha _{k-1}\),

Ao substituir \(m_k\) em \(c_km_k+d_kx\), o coeficiente de \(x\) é

e o de \(\epsilon _*\) é \(-\delta _k/[\sqrt{\alpha _k}\sqrt{1-\overline\alpha _k}]\). Isso prova a identidade. Pela propriedade da torre em (??), \(c_km_k(x)+d_kx\) é exatamente \(E(X_{k-1}\mid X_k=x)\); logo a previsão ideal fornece essa média. A covariância e, de modo mais geral, a distribuição condicional inteira não são determinadas apenas por essa média.

Exercícios complementares

Exercício ??.

Usando a identidade sugerida,

A expressão é simétrica em \(v,v'\), logo vale o balanço detalhado. O resultado vale para a cadeia visível em blocos; não afirma que qualquer composição de atualizações na cadeia conjunta seja reversível.

Exercício ??.

Somando primeiro sobre o estado antigo da unidade oculta,

Assim, a distribuição conjunta é estacionária. A invariância não implica reversibilidade: na conjunta proposta, a varredura tem \(K(00,01)=(1/5)(1/5)=1/25\) e \(K(01,00)=(4/5)(4/5)=16/25\). Os fluxos são \((2/5)(1/25)=2/125\) e \((1/10)(16/25)=8/125\), portanto diferentes. Cada atualização isolada é reversível, mas a composição em ordem fixa pode deixar de ser. A cadeia formada apenas pelas configurações visíveis, após as duas etapas, é reversível, como foi mostrado no exercício anterior.

Exercício ??.

Nos estados relevantes, Bayes dá

Multiplicando e somando em \(x\), a propriedade de Markov fornece

Ponha \(k=K-j\). Condicionalmente a \(\mathcal G_j\), o estado seguinte \(Y_{k-1}\) tem lei \(R_k(Y_k,\cdot )\); a identidade anterior implica \(E(M_{j+1}\mid \mathcal G_j)=M_j\). O processo é adaptado e está entre zero e um. Além disso, \(E M_0=\sum _y p_K(y)r_K(y)=1/2\), e \(M_K=r_0(Y_0)=\mathbf1_{\{ Y_0=\xi \} }\). Cada novo estado pode favorecer uma ou outra diagonal; a propriedade de martingal conserva a previsão em média, não a torna monótona.

Exercício ??.

Condicionalmente ao padrão inicial, as duas componentes têm a mesma covariância \(\widetilde\delta _kI_d\) e médias \(c_k\xi +d_kx\) e \(-c_k\xi +d_kx\). A média dessas duas componentes é \(c_k(2w-1)\xi +d_kx\). A variância adicional entre as médias é

Somá-la à covariância dentro de cada componente dá a resposta. Essa parcela representa a incerteza sobre qual padrão originou a observação. Ela é maior em \(w=1/2\) e desaparece quando o padrão é conhecido com certeza.

Exercício ??.

Diferenciando cada parcela,

Divida por \(p(x)\) e use \(\sum _jr_j(x)=1\). Se o padrão inicial \(x^j\) tem probabilidade \(\omega _j\) e a observação, dado esse padrão, tem lei \(N(a x^j,vI_d)\), a regra de Bayes dá \(r_j(x)=\mathbb P(X_0=x^j\mid X_t=x)\).

Exercício ??.

A solução é a soma de \(a(t)X_0\) e de uma normal centrada independente, com covariância \([1-a(t)^2]I_d\). Portanto a soma é centrada, normal e tem covariância \(I_d\). Seu score é \(-x\). A deriva reversa é \(b(T-u)x/2-b(T-u)x=-b(T-u)x/2\). Trocar somente o sinal da deriva direta daria \(+b(T-u)x/2\), que afasta o processo da origem e não preserva a distribuição normal padrão. O termo do score compensa essa mudança.