Respostas e indicações

As respostas registram os resultados e os passos que sustentam o argumento. Uma simulação pode conferir numericamente uma conta, mas não substitui a justificativa de uma identidade ou de um limite.

Cadeias de Markov

Exercício 2.1.

Com \(Y_n=1\), a chance do próximo valor um é \(0{,}6\) se o anterior foi zero e \(0{,}8\) se foi um. A informação anterior ainda importa. O par atual contém a informação necessária e tem matriz

De \((a,b)\), o próximo estado tem obrigatoriamente a forma \((b,c)\).

Exercício 2.2.

As linhas interiores têm \(0{,}4\) na coluna anterior e \(0{,}6\) na seguinte; as linhas de \(0\) e \(4\) são absorventes. Para chegar a \(4\) em três passos, o único caminho é \(1,2,3,4\), de probabilidade \(0{,}6^3=0{,}216\). Para terminar em zero, pode-se sair diretamente para zero e permanecer ou percorrer \(1,2,1,0\): \(P^3(1,0)=0{,}4+0{,}6(0{,}4)^2=0{,}496\). A multiplicação \(P^3=P^2P\) soma exatamente esses casos.

Exercício 2.3.

As classes são \(\{ 1,2\} \), \(\{ 3\} \) e \(\{ 4,5\} \). A primeira e a terceira são fechadas e recorrentes; \(3\) é transiente. Os períodos são dois em \(\{ 1,2\} \) e um nos demais estados, pois \(p(3,3)\gt 0\) e \(p(4,4)\gt 0\). Todas as estacionárias são

A lei iniciada em \(1\) alterna entre as massas em \(1\) e \(2\).

Exercício 2.4.

\(P^{2n}(0,0)=\binom {2n}{n}[p(1-p)]^n\sim [4p(1-p)]^n/\sqrt{\pi n}\). Para \(p=1/2\), a série diverge e o passeio é recorrente; para \(p=7/10\), o fator é \(0{,}84\lt 1\) e o passeio é transiente. No caso simétrico, \(P^n(0,0)\to 0\), portanto

Pelo teorema de frequência, \(Z_n=N_n(0)/n\) converge quase certamente para \(c=1/E_0T_0^+\). Como \(0\leq Z_n\leq 1\), o Lema 2.30 dá \(E_0Z_n\to c\): basta usar \(|E_0Z_n-c|\leq \varepsilon +\mathbb P_0(|Z_n-c|\gt \varepsilon )\). Logo \(c=0\) e o retorno tem média infinita: a recorrência é nula.

Exercício 2.5.

Os graus são \((1,2,2,1)\), logo \(\pi =(1/6,1/3,1/3,1/6)\). Em cada aresta, o fluxo nos dois sentidos é \(1/6\). A cadeia tem período dois; \(E_1T_1^+=6\) e \(E_2T_2^+=3\). A versão preguiçosa tem a mesma estacionária e os mesmos tempos médios de primeiro retorno, mas é aperiódica e suas distribuições convergem para \(\pi \). Permanências no primeiro passo contam como retorno.

Exercício 2.6.

Temos \((0,1,0)=\tfrac 13(1,1,1)-\tfrac 13(1,-2,1)\). O modo de autovalor \(3/4\) não aparece. Portanto a distância é \(\tfrac 23(1/4)^n\). Em dois passos ela é \(1/24\gt 0{,}02\) e, em três, \(1/96\lt 0{,}02\): o primeiro instante é \(n=3\). Partindo de \(1\), permanece o modo mais lento, de autovalor \(3/4\), e a distância é

Essa expressão decresce com \(n\). Como \(d_1(11)\approx 0{,}02112\) e \(d_1(12)\approx 0{,}01584\), o primeiro instante que satisfaz o mesmo limiar é \(n=12\). A escolha do estado inicial reduz, neste exemplo, a espera de doze para três passos ao eliminar o modo mais lento.

Exercício 2.7.

No jogo justo, a chance de atingir seis é \(1/3\) e a duração média é oito apostas. Para \(p=3/5\), a razão \(q/p=2/3\) dá

Há mais chance de alcançar a barreira distante, o que pode aumentar o tempo gasto; sucesso e duração medem aspectos diferentes.

Exercício 2.8.

Para decidir se \(T\leq n\), basta observar \(X_0,\ldots ,X_n\); logo, \(T\) é um tempo de parada. A fórmula da ruína com barreiras \(0\) e \(3\) dá \(\mathbb P_2(X_T=3)=2/3\). No evento \(\{ X_T=3\} \), a propriedade forte de Markov permite recomeçar em \(3\), agora com as barreiras originais \(0\) e \(5\). Portanto,

Toda trajetória que chega a \(5\) antes de \(0\) precisa passar por \(3\). Assim, \(\mathbb P_2(X_\tau =5)=(2/3)(3/5)=2/5\), de acordo com a fórmula direta.

Exercício 2.9.

As probabilidades de subir, descer e permanecer são \((3-i)^2/9\), \(i^2/9\) e \(2i(3-i)/9\), respectivamente. Nas fronteiras, use apenas os destinos possíveis. A estacionária é \((1,9,9,1)/20\). A identidade \(\binom 3i(3-i)=\binom 3{i+1}(i+1)\) verifica o balanço detalhado entre vizinhos. Se a primeira urna é um subconjunto uniforme de três das seis bolas identificadas, há \(\binom 3i\binom 3{3-i}\) configurações com \(i\) pretas, entre \(\binom 63\) igualmente prováveis. Uma troca preserva essa uniformidade.

Exercício 2.10.

A estacionária é \(\pi (i)=\tfrac 13(2/3)^i\), o retorno médio a zero é três e a média temporal de \(X_n\) tende a \(\sum _i i\pi (i)=2\). Já \(\sum _i2^i\pi (i)=\tfrac 13\sum _i(4/3)^i=\infty \). Para cada inteiro \(b\), o teorema ergódico aplicado a \(f\wedge b\) dá

Essas afirmações valem simultaneamente para todos os inteiros \(b\), pois a união enumerável de eventos de probabilidade zero ainda tem probabilidade zero. Para ver que as médias truncadas podem ser arbitrariamente grandes, fixe \(K\) e escolha \(b\geq 2^K\). Então

As somas finitas à direita crescem sem limite quando \(K\) aumenta. Logo o limite inferior da média temporal é maior que qualquer número real, o que prova sua divergência para \(+\infty \).

Exercício 2.11.

Se \(R\) é a submatriz nos estados \(1,2,3,4\), a linha de \((I-R)^{-1}\) correspondente a \(2\) é \((6/5,12/5,8/5,4/5)\). Assim, são esperadas \(8/5\) visitas ao estado \(3\); a soma da linha é seis, igual a \(2(5-2)\).

Exercício 2.12.

Depois do silêncio, \(r_0=(1/9,8/9)\). A previsão seguinte é \((16/45,29/45)\); após o clique, \(r_1=(72/101,29/101)\). A probabilidade desse clique, dado o silêncio anterior, é \(101/225\).

Exercício 2.13.

O fator de emissão \(b(y)\) multiplica todas as coordenadas previstas e se cancela na normalização, quando \(b(y)\gt 0\). Com emissões idênticas, a lei das observações é o produto desses mesmos fatores, sem depender de \(P\): as ações não identificam as transições ocultas.

Exercício 2.14.

As probabilidades são \(383/550\) e \(101/225\), respectivamente. A observação inicial muda a distribuição do estado oculto, que persiste até o próximo dia. A independência exigida pelo HMM é condicional à trajetória oculta, não uma independência marginal entre os cliques.

Exercício 2.15.

A segunda iteração é \((0{,}39,0{,}19,0{,}35,0{,}07)\). A estacionária é \(\pi =(305,175,315,53)/848\approx (0{,}35967,0{,}20637,0{,}37146,0{,}06250)\). Substituí-la em \(\pi G=\pi \) verifica o resultado. A décima iteração está próxima, mas ainda não coincide com o equilíbrio.

Exercício 2.16.

Se \(\alpha =0\), cada linha de \(G\) é \(v\) e \(\pi =v\). Se \(\alpha =1\) e cada um de dois vértices aponta somente para si mesmo, \(G=I\) e toda distribuição é estacionária. A positividade de \(v\) junto de \(\alpha \lt 1\) garante comunicação e permanência; a finitude garante a existência pelo argumento de compacidade.

Exercício 2.17.

A primeira iteração passa a \((2/5,1/6,11/30,1/15)\). Os links são os mesmos; a alteração decorre de \(v\), tanto no teletransporte quanto na linha da página sem saída.

Exercício 2.18.

Os reforços são \(q_1=1/2\) e \(q_2=1/4\). As duas escolhas têm probabilidade \(1/2\). Se o caminho \(1\) é escolhido, \(Z_1=(3/2)/(5/2)=3/5\); se o caminho \(2\) é escolhido, \(Z_1=1/(9/4)=4/9\). Logo,

Em um passo geral, os incrementos possíveis são \(q_1(1-Z_n)/(S_n+q_1)\) e \(-q_2Z_n/(S_n+q_2)\), com probabilidades \(Z_n\) e \(1-Z_n\). Sua média condicionada é

A convergência de um submartingal limitado não determina o valor do limite. Por exemplo, a sequência determinística \(W_n=3/4-1/[4(n+1)]\) começa em \(1/2\), tem incrementos positivos e converge a \(3/4\). No modelo dos caminhos, a conclusão \(Z_n\to 1\) exige o argumento adicional do teorema de seleção.

Exercício 2.19.

Sem evaporação, os feromônios não diminuem e permanecem em \([\tau _{\min },\tau _{\max }]\). A probabilidade de cada escolha é pelo menos \(\varepsilon =\tau _{\min }/(2\tau _{\max })\). A probabilidade de evitar um caminho nas próximas \(r\) escolhas é, condicionada a qualquer história, no máximo \((1-\varepsilon )^r\); portanto, cada caminho é visitado infinitas vezes quase certamente. Após no máximo \(\lceil (\tau _{\max }-\tau _i(0))/q_i\rceil \) escolhas do caminho \(i\), seu feromônio chega ao teto e ali permanece. Esse número de escolhas é alcançado em tempo finito quase certamente para ambos os caminhos. A partir daí, as probabilidades são \(1/2\) e \(1/2\), apesar de \(q_1\gt q_2\). O teorema de seleção pressupõe a atualização sem truncamento, na qual os feromônios podem crescer sem limite. A exploração persistente assegura novas visitas, mas não compara a qualidade das soluções nem garante concentração no melhor caminho.

Processos de ramificação

Exercício ??.

As três probabilidades são \(1/16\), \(3/8\) e \(9/16\). Além disso, \(E_2Z_3=2(3/2)^3=27/4\). Para uma semente, \(q_1=1/4\) e \(q_2=f(1/4)=19/64\lt 1/3=q\). Extinção até a segunda geração é um evento menor que extinção eventual.

Exercício ??.

Se \(p_0\gt 0\), a extinção na primeira geração tem probabilidade positiva: para uma semente, \(q\geq p_0\gt 0\), e para \(k\geq 1\) sementes essa probabilidade é \(p_0^k\gt 0\). Logo a extinção eventual também tem probabilidade positiva. Se \(p_0=0\), cada indivíduo tem pelo menos um filho, a população nunca zera e \(q=0\). Como \(\mathbb {P}_k(H_0\lt \infty )=q^k\), para todo \(k\geq 1\) finito a probabilidade de extinção é zero exatamente quando \(q=0\), ou seja, quando \(p_0=0\). Quando \(Y\equiv 1\), a média é um e a população permanece constante: criticidade, sem excluir esse caso, não implica extinção.

Exercício ??.

Temos \(m=r/(1-r)\) e \(f(s)=(1-r)/(1-rs)\). A equação de ponto fixo tem raízes \(1\) e \((1-r)/r\). Portanto \(q=1\) para \(r\leq 1/2\), e \(q=(1-r)/r\) para \(r\gt 1/2\). Quando \(r=2/3\), \(q=1/2\) e a sobrevivência com três sementes é \(1-q^3=7/8\).

Exercício ??.

As somas parciais \(B_M=\sum _{n=0}^{M}Z_n\) são não negativas, inteiras e crescentes. Pela linearidade para somas finitas e pelo Teorema ??,

Escreva \(L=\sup _M E(B_M)=k/(1-m)\lt \infty \). Ainda não precisamos supor que \(B\) seja finito. Como \(B_M\leq B\), a fórmula da cauda do Lema 2.9 dá \(E(B_M)\leq E(B)\) e, portanto, \(L\leq E(B)\).

Para a desigualdade inversa, fixe um inteiro \(K\geq 1\). A mesma fórmula dá, para todo \(M\),

Para cada \(r\) fixo, os eventos \(\{ B_M\geq r\} \) crescem para \(\{ B\geq r\} \): como as contagens são inteiras, alcançar o nível \(r\) na soma total significa alcançá-lo em alguma soma parcial finita. Isso vale também nas realizações em que \(B=\infty \). Pela continuidade das probabilidades de eventos crescentes, da Proposição 2.8, o limite nessa soma de apenas \(K\) termos fornece

Tomando o supremo em \(K\) e usando novamente a fórmula da cauda, obtemos \(E(B)\leq L\). Portanto, a passagem das somas finitas à soma total está justificada e

Finalmente, se \(\mathbb {P}(B=\infty )\gt 0\), então \(E(B)\geq a\mathbb {P}(B=\infty )\) para todo \(a\gt 0\), contradizendo a finitude. Logo \(B\lt \infty \) quase certamente.

Exercício ??.

\(\widehat m=1{,}3\), \(\widehat f(s)=0{,}3+0{,}1s+0{,}6s^2\) e \(\widehat q=1/2\); com duas sementes, a extinção ajustada é \(1/4\). O máximo de verossimilhança atribui zero à categoria três, mas dados finitos não provam que ela seja impossível. As contagens somam \(78\) filhos; uma árvore encerrada com \(60\) vértices teria exatamente \(59\) arestas.

Processos de Poisson

Exercício ??.

As probabilidades exponenciais são \(e^{-3/2}\) e \(e^{-3/4}\). Para a uniforme, são \(6/24=1/4\) e \(6/15=2/5\). A exponencial tem falta de memória. Na uniforme, por exemplo, \(\mathbb {P}(U\gt 18\mid U\gt 9)=2/5\ne \mathbb {P}(U\gt 9)=5/8\).

Exercício ??.

Para \(t\geq 0\), \(\mathbb {P}(M\leq t)=(1-e^{-t/4})(1-e^{-t/6})\). A média é \(4+6-12/5=38/5\) anos. O primeiro componente falha antes com probabilidade \((1/4)/(1/4+1/6)=3/5\).

Exercício ??.

A regra de probabilidade condicional dá \(u(s+t)=u(s)u(t)\). Como \(0\lt u(1)\leq 1\), podemos definir \(\alpha =-\log u(1)\geq 0\). Para inteiros \(m\geq 1\) e \(k\geq 0\), temos \(u(1/m)^m=u(1)\) e, portanto, \(u(k/m)=e^{-\alpha k/m}\). A continuidade estende a identidade aos reais não negativos. Os eventos \(\{ T\gt n\} \) decrescem para \(\{ T=\infty \} \); pela continuidade das probabilidades e pela finitude de \(T\), suas probabilidades tendem a zero. Logo \(\alpha \gt 0\): se \(\alpha =0\), teríamos \(u\equiv 1\), que descreveria uma espera infinita. Assim, \(T\sim \operatorname {Exp}(\alpha )\).

Exercício ??.

A média é \(4/3\) de hora. Como \(T_4\gt 1\) equivale a \(N(1)\leq 3\), a probabilidade é \(13e^{-3}\approx 0{,}6472\). A terceira resposta é \(1-4e^{-3}\approx 0{,}8009\). Condicionado ao total seis, a contagem na meia hora é binomial de parâmetros \(6\) e \(1/4\), logo a probabilidade é \(\binom 62(1/4)^2(3/4)^4=1215/4096\).

Exercício ??.

Escreva \(N(t)=N(s)+[N(t)-N(s)]\), com parcelas independentes. Então

As contagens acumuladas compartilham os eventos anteriores a \(s\); são os incrementos em intervalos disjuntos que são independentes.

Exercício ??.

As duas contagens são Poisson independentes de médias \(3\) e \(3/2\). A probabilidade é \((e^{-3}3^2/2)(e^{-3/2}3/2)=27e^{-9/2}/4\). Dado o total três, a detectada é binomial de parâmetros \(3\) e \(2/3\), e a outra vale três menos a primeira: são dependentes.

Exercício ??.

O número de pedidos tem média seis, \(EY=11/6\) e \(EY^2=9/2\). A soma tem média \(11\) e variância \(27\). O número de pedidos com quatro unidades é Poisson de média \(6(1/6)=1\).

Exercício ??.

Fixe \(n\geq 0\) e denote por \(C_j(n)\) o número de pessoas no estado \(j\). Os indivíduos inicialmente em \(i\) se dividem por destino com probabilidades \(P^n(i,j)\). O afinamento gera contagens independentes em cada destino e grupo de origem. Somando os grupos, obtemos Poisson independentes com vetor de médias \((4,2)P^n=(4,2)\), pois \((4,2)P=(4,2)\). Assim, \(C_1(n)\sim \operatorname {Poisson}(4)\) e \(C_2(n)\sim \operatorname {Poisson}(2)\) para cada instante fixado. Isso não afirma independência entre contagens em instantes diferentes.

Se \(M\) é o total inicial, a conservação do número de pessoas dá \(M=C_1(n)+C_2(n)\). Como a soma tem lei \(\operatorname {Poisson}(6)\), para \(0\leq r\leq m\),

Logo, condicionado a \(M=m\), o par tem distribuição multinomial com total \(m\) e probabilidades \((2/3,1/3)\); a segunda contagem vale \(m-C_1(n)\). Para \(m\gt 0\), sua covariância condicional é \(-2m/9\), e elas são dependentes. Para \(m=0\), ambas são identicamente zero.

Exercício ??.

A média e a variância são \(4\cdot 1+2\cdot 1=6\), e a probabilidade é \(1-e^{-6}\). O modelo homogêneo dá \(14/3\) e \(1-e^{-14/3}\).

Exercício ??.

É contrariada a independência dos incrementos em intervalos disjuntos. Mudar uma intensidade determinística altera as marginais, mas preserva essa independência; não produz a correlação residual observada.

Exercício ??.

Temos \(\Lambda (t)=t^2\) e \(\mathbb {P}(T_1\gt t)=e^{-t^2}\). Se \(S_k=E_1+\cdots +E_k\) são as chegadas do processo de taxa um, então \(N(t)=M(t^2)\) chega quando \(t^2=S_k\), isto é, \(T_k=\sqrt{S_k}\). As duas contagens são independentes com médias e variâncias \(1\) e \(3\).

Cadeias de Markov em tempo contínuo

Exercício ??.

As médias de permanência são \(1/3\), \(1/3\) e \(1/4\) de hora. Os destinos têm probabilidades \((r(1,2),r(1,3))=(2/3,1/3)\), \((r(2,1),r(2,3))=(1/3,2/3)\) e \(r(3,1)=1\). Resolver \(\pi Q=0\) e normalizar dá \(\pi =(12,8,7)/27\). Como \(q(2,3)\gt 0\) e \(q(3,2)=0\), não há reversibilidade. O fluxo de 1 para 2 é \(\pi (1)q(1,2)=8/9\) por hora. A taxa \(2\) é o coeficiente de \(h\) em \(P_h(1,2)=2h+o(h)\); durante uma hora podem ocorrer vários saltos.

Exercício ??.

Temos \(P_t(1,2)=\frac25(1-e^{-5t})\). Em \([0,t]\), a cadeia faz apenas um número finito de saltos quase certamente. As somas de Riemann da indicadora de permanência em 1 convergem para seu tempo de ocupação e são limitadas por \(t\). A estimativa elementar para convergência de variáveis limitadas permite passar ao limite nas esperanças dessas somas. Como a esperança de cada parcela é \(P_s(1,1)\), a esperança da ocupação é a integral usual de \(P_s(1,1)=3/5+(2/5)e^{-5s}\), portanto

A uniformização dá \(U=\left(\begin{smallmatrix} 3/5 & 2/5 \\ 3/5 & 2/5 \end{smallmatrix}\right)\). Toques que conservam o estado são descartados ao contar mudanças reais; a taxa efetiva é \(5(2/5)=2\) em 1 e \(5(3/5)=3\) em 2.

Exercício ??.

Na ordem \(0,1,2\), o gerador por dia e a estacionária são

O número médio em funcionamento é \(20/13\). O reparador trabalha quando há menos de duas máquinas funcionando: fração \(5/13\).

Exercício ??.

A cadeia de saltos é simétrica, logo a probabilidade é \(1/4\). A restrição do gerador tem diagonal \(-4\) e vizinhos de taxa \(2\). A primeira linha de sua inversa negativa é \((3/8,1/4,1/8)\), em horas. A soma é \(3/4\) de hora, também obtida de \(i(4-i)/4\) em \(i=1\).

Exercício ??.

Normalizar os pesos \((3/4)^n\), \(0\leq n\leq 3\), dá

A fração recusada é \(27/175\) e a taxa aceita, igual à atendida a longo prazo, é \(6(148/175)=888/175\) por hora. O número médio é \(201/175\); sem limite seria \(6/(8-6)=3\). PASTA usa a intensidade condicional constante das tentativas de chegada, inclusive com o sistema cheio, e serviços que não antecipam essas chegadas.

Exercício ??.

A cadeia de saltos, fora de zero, sobe com probabilidade \(p=\lambda /(\lambda +\mu )\) e desce com \(q=\mu /(\lambda +\mu )\). Partindo de 1, a probabilidade de atingir 0 antes de \(b\) tende a 1 se \(p\leq q\), e a \(q/p\lt 1\) se \(p\gt q\), pela fórmula da ruína. Assim, o caso crítico é recorrente, mas não admite estacionária. Para ver que sua média de retorno é infinita, o tempo de atingir \(\{ 0,b\} \) a partir de 1 tem média \((b-1)/(2\lambda )\), que tende a infinito e é limitado pelo tempo de atingir 0. O caso \(\lambda \lt \mu \) é recorrente positivo: a média de descida a partir de 1 é \(1/(\mu -\lambda )\), obtida pela equação de primeiro passo com barreira \(b\) e passagem monótona ao limite; somamos a espera \(1/\lambda \) em zero. O caso \(\lambda \gt \mu \) é transiente. Não possuir estacionária ocorre nos dois últimos regimes e não basta para distingui-los.

Exercício ??.

Até \(t\), há finitas chegadas quase certamente, e o número de saídas não pode exceder a população inicial mais essas chegadas. Portanto não há explosão. Os pesos de nascimento e morte são \(2^n/n!\), de modo que \(\pi (n)=e^{-2}2^n/n!\). A taxa média de saída é \(\sum _n(4+2n)\pi (n)=8\) por hora. Logo a estacionária da cadeia de saltos é \(\alpha (n)=(n+2)\pi (n)/4\). De fato,

pois \(\pi (n+1)=2\pi (n)/(n+1)\). Observar saltos dá maior peso a estados em que o relógio toca mais depressa.

Exercício ??.

Podemos tomar \(\widetilde X_t=X_{ct}\), portanto \(\widetilde P_t=P_{ct}\). A estacionária, as probabilidades de saída e a matriz da cadeia de saltos permanecem iguais. As durações são divididas por \(c\), trajetória a trajetória; em particular, \(E_i\widetilde H_A=E_iH_A/c\) quando finito.

Exercício ??.

As utilizações são \(3/5\) e \(3/4\). A probabilidade de rede vazia é \((2/5)(1/4)=1/10\); o número médio total é \(3/2+3=9/2\). A segunda estação tem maior utilização.

Exercício ??.

Em \((m,n)\) com \(m\gt 0\), a transferência para \((m-1,n+1)\) ocorre à taxa \(\mu _1\). Sua inversa direta não é uma transição permitida. As filas são dependentes ao longo do tempo porque uma conclusão na primeira produz uma chegada na segunda; a fatoração da lei em um instante não altera esse mecanismo.

Exercício ??.

O vetor de visitas médias é \((1,11/18,71/90,5/9)\) por requisição externa. Com os serviços originais, estabilidade exige \(0\lt a\lt 810/71\) por segundo, e o banco é o gargalo. Com serviço \(12\) no banco, os quatro limites são \(20\), \(180/11\), \(1080/71\) e \(18\). Assim, \(0\lt a\lt 1080/71\approx 15{,}211\) por segundo; o banco continua sendo o gargalo. A igualdade nos limites não é estável.

Martingais

Exercício ??.

Em \(\{ Y\leq 4\} \), \(M_0=5/2\); no complemento, \(M_0=13/2\). As quatro partes de \(\mathcal F_1\) são \(\{ 1,3\} \), \(\{ 2,4\} \), \(\{ 5,7\} \) e \(\{ 6,8\} \); nelas, \(M_1\) vale, respectivamente, \(2,3,6,7\). Finalmente, \(M_2=Y\). Dentro de cada parte de \(\mathcal F_0\), as duas novas partes têm probabilidades condicionais iguais, dando médias \(5/2\) e \(13/2\). Dentro de cada parte de \(\mathcal F_1\), a média de \(Y\) é o valor indicado para \(M_1\). Isso verifica as duas identidades condicionais. O processo constante igual a \(Y\) não é adaptado, pois seu valor não pode ser determinado com a informação \(\mathcal F_0\).

Exercício ??.

A primeira estratégia é previsível e limitada; sua riqueza é um martingal de média zero. Na segunda, cada ganho é \(K_n\xi _n=\xi _n^2=1\), logo a riqueza vale \(n\). Essa escolha usa o resultado da própria rodada e não é previsível. Integrabilidade e limitação não corrigem a antecipação.

Exercício ??.

O tempo \(T\) é finito quase certamente pelo argumento de caminhos em um intervalo finito. Se \(u=\mathbb {P}(S_T=3)\), a parada de \(S_n\) dá \(0=-2(1-u)+3u\), logo \(u=2/5\). A dominadora é a constante 3. Para \(S_n^2-n\), primeiro paramos em \(T\wedge n\) e usamos \(S_{T\wedge n}^2\leq 9\) e \(T\wedge n\uparrow T\):

Não se aplica diretamente o teorema da parada limitada ao processo \(S_n^2-n\), pois seu termo temporal não é limitado uniformemente em \(n\).

Exercício ??.

Um bloco de quatro ensaios contém quatro sucessos com probabilidade \(0{,}3^4\gt 0\), independentemente dos outros blocos. Se \(G\) é o índice do primeiro bloco assim, \(T\leq 4G\) e \(E(T)\leq 4/0{,}3^4\lt \infty \). Para \(\xi _k\) indicadora de sucesso, \(\sum _{k=1}^{T}\xi _k=4\). Wald fornece \(E(T)=4/0{,}3=40/3\) ensaios. A verificação prévia permite usar a identidade sem pressupor a finitude da média que queremos encontrar.

Exercício ??.

A média condicional da binomial é \(X_n\), de modo que \(X\) é martingal limitado. Usando sua variância condicional,

o que prova a afirmação sobre \(U_n\), integrável em cada instante por \(0\leq X_n(6-X_n)\leq 9\). De qualquer estado interno, a probabilidade de saltar para 0 no passo seguinte é ao menos \((1/6)^6\). Assim, a cauda do tempo \(T\) de absorção é limitada por uma cauda geométrica. Pela parada limitada de \(X\), \(2=E(X_T)=6\mathbb {P}(X_T=6)\), logo a fixação tem probabilidade \(1/3\). Finalmente, \(E[X_n(6-X_n)]=8(5/6)^n\).

Exercício ??.

Os fatores são independentes, não negativos e de média 1. Portanto \(E(M_n)=1\) e a propriedade de martingal segue ao condicionar no próximo fator. Além disso,

A lei dos grandes números se aplica porque \(E|\log (2U_1)|\lt \infty \). Logo \(M_n\to 0\). Se uma variável integrável \(Y\) dominasse todos os \(M_n\), a primeira regra da Proposição ?? daria \(E(M_n)\to 0\), contradizendo a média constante 1.

Exercício ??.

Temos \(\phi (b)=\sum _{j=0}^{b-1}3^{-j}=\frac32(1-3^{-b})\), portanto \(\mathbb {P}_1(H_0\lt \infty )=1/3\). Com \(p_0=0\), o estado é absorvente e \(\mathbb {P}_0(T_0^+\lt \infty )=1\). Com \(p_0=2/5\), essa probabilidade é \(3/5+(2/5)(1/3)=11/15\lt 1\): o estado é transiente. O mesmo limite finito de \(\phi \) produz classificações diferentes porque a regra na fronteira mudou.

Exercício ??.

Escreva \(D_k=\xi _k\mathbf1_{\{ T\geq k\} }\). A indicadora é conhecida em \(k-1\), enquanto \(\xi _k\) é independente desse passado e centrada. Assim, \(E(D_k^2)=\sigma ^2\mathbb {P}(T\geq k)\) e \(E(D_iD_j)=0\) para \(i\lt j\), condicionando em \(\mathcal F_{j-1}\). Os produtos são integráveis por Cauchy–Schwarz. Somar os termos diagonais entre \(m+1\) e \(n\) dá a identidade pedida. Seu lado direito tende a zero quando \(m,n\to \infty \), pois é no máximo \(\sigma ^2E[(T-m)^+]\) e \(E(T)\lt \infty \). Portanto \(S_{T\wedge n}\) é uma sequência de Cauchy em média quadrática. Seu limite coincide com \(S_T\), pois \(T\lt \infty \) quase certamente e os valores acabam constantes em cada trajetória. A convergência em média quadrática implica convergência das normas quadráticas; usando

concluímos a identidade porque \(E(T\wedge n)=\sum _{k=1}^n\mathbb P(T\geq k)\) tende a \(E(T)\) pela fórmula de caudas.

Exercício ??.

O mecanismo de reprodução dá \(E(Z_{n+1}\mid \mathcal F_n)=mZ_n\). Dividir por \(m^{n+1}\) prova a propriedade de martingal; \(E(W_n)=k\) garante integrabilidade. No regime \(m\lt 1\), a extinção ocorre quase certamente, e depois dela \(W_n=0\). Logo \(W_n\to 0\) quase certamente, sem convergência das médias. Como no exemplo do produto, não existe dominadora integrável para toda a sequência.

Exercício ??.

Para \((0,1,1,1,1)\), os valores são \(0{,}6\), \(0{,}84\), \(1{,}176\), \(1{,}6464\) e \(2{,}30496\). Para \(\alpha =0{,}01\), o limiar é 100; são necessárias \(\lceil \log (100)/\log (1{,}4)\rceil =14\) conversões consecutivas desde o início.

Exercício ??.

Para cada \(m\), o processo parado ainda é martingal e tem esperança 1. A não negatividade permite descartar a contribuição de \(\{ T_c\gt m\} \) e obter \(1\geq cP(T_c\leq m)\). Passamos ao limite nas probabilidades de eventos crescentes, não na esperança de \(L_{T_c}\). Se o martingal pudesse ser negativo, a contribuição descartada poderia ser negativa, invalidando a desigualdade.

Exercício ??.

Linearidade preserva a propriedade de martingal, e a média das duas razões é não negativa e começa em 1; Ville se aplica. O máximo não preserva a média condicional: com \(a=0{,}7\), \(b=0{,}3\) e uma única observação Bernoulli\((1/2)\), o máximo das razões é sempre \(1{,}4\), embora o máximo inicial seja 1. Logo nem sequer é um supermartingal.

Métodos de Monte Carlo via cadeias de Markov

Exercício ??.

Os pesos são \(\theta ^2(1-\theta )^2\), proporcionais a \((9,16,9)\). Assim, \(\pi =(9,16,9)/34\) e a média é \(1/2\). A matriz é

Nas duas arestas, os fluxos valem \(9/68\); logo há balanço detalhado e \(\pi P=\pi \). Por linearidade, \(\pi P_\varepsilon =\pi \). Para \(\varepsilon \gt 0\), a cadeia é irredutível e tem permanências. Para \(\varepsilon =0\), \(P_0=I\): cada trajetória fica onde começou e as médias geralmente não convergem para a esperança posterior, embora \(\pi \) ainda seja estacionária.

Exercício ??.

Dado que a outra variável vale 0, a probabilidade de sortear 1 é \(3/10\); dado 1, é \(7/10\). Portanto,

Por exemplo, \(\pi (00)\mathbb {P}(00,01)=21/400=\pi (01)\mathbb {P}(01,00)\); as outras arestas seguem pela simetria e dão \(\pi P=\pi \). A chance de mudar a partir de \(00\) é \(3/10\). Toda proposta é aceita, mas a condicional pode sortear o valor atual. No caso de massa somente em \(00\) e \(11\), cada condicional é determinística: os dois estados são absorventes, e a cadeia não percorre o suporte inteiro.

Exercício ??.

A média-alvo é zero. A discordância entre execuções mostra que elas ainda não atravessaram adequadamente as duas regiões de massa. Os tamanhos efetivos são aproximadamente \(8000/2{,}934\approx 2727\) e \(8000/77{,}676\approx 103\). A estabilidade dentro de um único modo não demonstra equilíbrio global.

Exercício ??.

Dos extremos para o centro, a aceitação é \(1/2\); do centro para os extremos, é 1. Logo

A matriz é simétrica, e os fluxos sob a uniforme são \(1/6\) nas arestas. A proposta sem correção teria estacionária \((1,2,1)/4\), proporcional aos graus. Num espaço unitário, definimos \(q(x,x)=1\).

Exercício ??.

A condição \(\frac12(0{,}96)^n\leq 0{,}05\) dá

em comparação com 11 para \(\delta =0{,}1\). Condicionalmente à separação inicial, \(T\) é geométrico em \(\{ 1,2,\ldots \} \) com parâmetro \(2\delta \), logo sua média é 25 passos.

Exercício ??.

Se as cópias podem se separar, o evento \(\{ T\leq n\} \) não garante igualdade em \(n\); assim \(\{ X_n\ne Y_n\} \) pode conter trajetórias que já se encontraram. Rode cópias independentes até o primeiro encontro e, depois dele, use uma nova sequência comum de uniformes para as transições. O par independente é Markov e seu encontro é um tempo de parada. A propriedade forte de Markov permite recomeçar do estado encontrado com a lei correta; a nova aleatoriedade comum mantém as duas cópias juntas e preserva cada lei marginal.

Exercício ??.

Se \(\mathcal F_n\) contém a história do par até \(n\), a hipótese dá

Iterar prova a cota. Para \(0\lt \eta \lt 1\) e \(0\lt \varepsilon \lt 1\), basta escolher \(B=\lceil \log (\varepsilon )/\log (1-\eta )\rceil \), usando \(\mathbb {P}(T\gt 0)\leq 1\) e a desigualdade de acoplamento. A distância marginal é então no máximo \(\varepsilon \) para todo estado inicial e todo \(n\geq B\). Para \(\eta =1\), o encontro ocorre até o primeiro passo e \(B=1\) basta. A garantia não torna independentes as observações retidas.

Exercício ??.

Temos \(w_{ij}=1/3\) para \(i\ne j\) e \(h_1=2/3\). A primeira unidade muda para \(+1\), e a energia passa de \(1/3\) a \(-1\): sua variação é \(-4/3\). No estado inicial, \(h_2=(-1+1)/3=0\), de modo que atualizar somente a segunda unidade nunca modifica nada e a primeira continua errada.

Exercício ??.

Os campos são \((h_1,h_2)=(-1,+1)\); a atualização simultânea leva a \((-1,+1)\), que volta a \((+1,-1)\) no passo seguinte. A energia \(-s_1s_2\) vale 1 nos dois estados. A prova assíncrona considera a mudança de uma única coordenada mantendo todas as demais fixas, condição que falha nessa atualização simultânea.

Exercício ??.

A probabilidade oculta é \(\sigma (-\log 2)=1/3\). Dado \(H=0\), as duas visíveis são Bernoulli\((1/2)\) independentes. Na ordem \(00,01,10,11\), os pesos de \(H=0\) são todos 1 e os de \(H=1\) são \((1,1/2,3,3/2)\). A constante é \(Z=10\), e

Logo \(\mathbb {P}(V_1=1)=13/20\) e \(\mathbb {P}(V_2=1)=2/5\), cujo produto \(13/50\) difere de \(\mathbb {P}(V_1=V_2=1)=1/4\). Misturar as duas condicionais introduz dependência entre as visíveis.

Exercício ??.

Somando primeiro sobre o valor antigo de \(H\),

Condicionais em valores de marginal zero são irrelevantes para essa soma. A invariância não implica reversibilidade. Na conjunta proposta, a varredura tem \(K(00,01)=(1/5)(1/5)=1/25\) e \(K(01,00)=(4/5)(4/5)=16/25\). Os fluxos são \((2/5)(1/25)=2/125\) e \((1/10)(16/25)=8/125\), diferentes. Cada atualização isolada é reversível, mas a ordem fixa da composição rompe essa simetria.