Simulados interativos de álgebra linear e otimização

1. Considere um vetor de atualização em otimização Δw=-∇ L( w), onde >0 é a taxa de aprendizado e ∇ L( w) é o vetor gradiente da função de perda. Se, por um erro de implementação, o sinal de fosse trocado para negativo, o vetor de atualização passaria a apontar exatamente na mesma direção de ∇ L( w).

2. Multiplicar um vetor de características x∈ℝ^d por um escalar =0 produz o vetor nulo, que deixa de estar associado a qualquer direção específica no espaço de características — a operação de escalonamento, portanto, deixa de estar definida nesse caso extremo.

3. Em um sistema de recomendação, o vetor de perfil de um usuário é atualizado a cada clique somando um vetor de “interesse” ao perfil atual, p_t+1= p_t+ c_t. Essa soma acumula sinais ao longo do tempo exatamente da mesma forma que a soma u+ v de dois vetores de características, mesmo que p_t e c_t vivam em um espaço de embeddings de alta dimensão em vez de ℝ².

4. Como a soma de vetores segue a regra do paralelogramo e produz um vetor “maior” que cada parcela, é sempre verdade que \| u+ v\|₂>\| u\|₂ e \| u+ v\|₂>\| v\|₂, para quaisquer vetores não nulos u, v∈ℝ^d.

1. Se o hiperparâmetro k do k-NN for definido como k=N (igual ao número total de amostras de D), a predição y_novo para regressão (média dos k vizinhos) deixa de depender da posição da consulta x_novo, tornando-se constante para qualquer consulta.

2. Suponha que a Hipótese de Suavidade fosse completamente falsa para um determinado problema — isto é, pontos muito próximos em ℝ^d tivessem rótulos tão distintos entre si quanto pontos distantes. Nesse cenário, aumentar k (considerar mais vizinhos na votação/média) resolveria o problema, pois a agregação por votação/média sempre corrige rótulos ruidosos.

3. No k-NN, a fase de “treino” consiste apenas em armazenar o conjunto D, sem nenhuma otimização de parâmetros. Esse mesmo padrão — toda a “aprendizagem” reduzida a memorizar os dados, sem fase de ajuste de parâmetros — também descreve corretamente um classificador de regressão logística.

4. Como o k-NN é chamado de método “não paramétrico”, isso significa que ele não possui nenhum hiperparâmetro a ser escolhido, sendo aplicado sempre da mesma forma independentemente do conjunto de dados.

1. O subconjunto U=\ 0\, contendo apenas o vetor nulo de ℝ^d, satisfaz as três condições de fechamento (conter a origem, ser fechado sob soma, ser fechado sob multiplicação por escalar) e portanto é, tecnicamente, um subespaço vetorial válido, ainda que trivial.

2. Considere o conjunto-solução de um sistema não homogêneo A x= b com b≠ 0 fixo e solúvel, isto é, U=\ x∈ℝ^n : A x= b\. Esse conjunto deixa de conter a origem (pois A 0= 0≠ b), mas ainda assim permanece fechado sob soma: dados x₁, x₂∈ U, a soma x₁+ x₂ também satisfaz A( x₁+ x₂)= b.

3. Considere o conjunto de todos os vetores de pesos w∈ℝ^d de um classificador linear tais que o hiperplano de decisão wᵀ x=0 passe exatamente por um ponto fixo x_0∈ℝ^d, x_0≠ 0 — ou seja, U=\ w∈ℝ^d : wᵀ x_0=0\. Esse conjunto U é um subespaço vetorial de ℝ^d.

4. Como subespaços vetoriais devem ser “fechados” segundo as três condições acima, e o conjunto de vetores de características associados a exemplos de uma única classe y=1, em um problema de classificação binária, corresponde a uma região geometricamente “fechada” (limitada) do espaço, esse conjunto é necessariamente um subespaço vetorial de ℝ^d.

1. Considere dados que vivem exatamente sobre a superfície de uma esfera em ℝ^3 (uma variedade curva). Se, hipoteticamente, essa esfera tivesse raio tendendo a infinito (curvatura tendendo a zero), a região da variedade visitada por um conjunto finito de dados se tornaria aproximadamente um subespaço afim (o plano tangente local).

2. Como a Hipótese da Variedade afirma que dados de alta dimensão se concentram perto de uma variedade de dimensão intrínseca menor, isso implica que essa variedade é sempre um subespaço vetorial de dimensão reduzida, apenas embutido (mergulhado) em um espaço maior.

3. Um autoencoder é treinado para comprimir imagens de dígitos manuscritos (como o MNIST, originalmente vetores em ℝ^784 para imagens 28×28) em um vetor latente de dimensão 2, com reconstrução precisa a partir desse vetor latente. Isso é coerente com a Hipótese da Variedade: os dígitos manuscritos residem próximos a uma variedade de dimensão intrínseca muito menor do que 784.

4. Suponha que uma variedade de dados seja perfeitamente plana (sem curvatura), mas não passe pela origem de ℝ^d — ou seja, seja um subespaço afim deslocado. Nesse caso, a soma de dois pontos quaisquer dessa variedade ainda permanece sobre a própria variedade, pois “ser plana” já garante, por si só, o fechamento sob adição exigido de um subespaço vetorial.

1. Para um vetor x=[3,4]ᵀ∈ℝ², se generalizarmos para normas L_p, \| x\|_p=≤ft(_i|x_i|^p)^1/p, o valor \| x\|_p converge para _i|x_i|=4 à medida que p→∞ — exatamente a definição de \| x\|_∞ dada nesta aula.

2. As três propriedades que definem uma norma (homogeneidade absoluta, desigualdade triangular, positividade definida) foram enunciadas conjuntamente. Se uma função f:ℝ^d→ℝ satisfizesse a desigualdade triangular e a positividade definida, mas violasse a homogeneidade absoluta (por exemplo, f(λ x)=λ²\|x\|₂ em vez de |λ|\|x\|₂), essa função ainda poderia ser chamada de norma, já que as duas propriedades restantes já garantem que ela mede corretamente o “tamanho” de um vetor.

3. Em regularização de modelos lineares (ex.: Lasso), a penalidade aplicada ao vetor de pesos w∈ℝ^d é \| w\|₁=_i=1^d|w_i|. Substituir essa penalidade por \| w\|_∞=_i|w_i| ainda produziria uma função de penalidade válida do ponto de vista da definição formal de norma, já que \|·\|_∞ também satisfaz as três propriedades exigidas.

4. Como as normas L₁ e L₂ induzem bolas unitárias de formatos geometricamente diferentes (losango vs. círculo), um vetor x com \| x\|₁<\| y\|₁ necessariamente também satisfaz \| x\|₂<\| y\|₂, para quaisquer x, y∈ℝ^d, já que ambas as normas medem o mesmo conceito subjacente de “tamanho”.

1. A definição de métrica exige não-negatividade (com d(x,y)=0⇔ x=y), simetria e desigualdade triangular. Se uma função :X× X→ℝ satisfizesse não-negatividade e desigualdade triangular, mas fosse assimétrica ((x,y)≠(y,x) para alguns pares), ela ainda poderia ser usada para ordenar os vizinhos mais próximos de uma consulta fixa x_novo no k-NN (fixando sempre o primeiro argumento como a consulta), mesmo não sendo tecnicamente uma métrica válida.

2. Toda função d:X× X→ℝ que satisfaça d(x,y)≥0 para quaisquer x,y e d(x,x)=0 já pode ser chamada de métrica, pois não-negatividade e anulação na diagonal são exatamente os dois requisitos que caracterizam completamente o primeiro axioma — os demais axiomas (simetria, desigualdade triangular) seriam apenas propriedades adicionais desejáveis, não obrigatórias.

3. Em um sistema de busca de imagens, a “distância” entre dois embeddings u, v∈ℝ^512 é definida como d( u, v)=\| u- v\|₂² (a norma Euclidiana ao quadrado, sem a raiz). Essa função ainda satisfaz a desigualdade triangular d(u,z)≤ d(u,y)+d(y,z) para quaisquer u,y,z, herdando essa propriedade diretamente da norma L₂, da mesma forma que d(x,y)=\|x-y\|₂ satisfaz.

4. A métrica induzida pela norma L_∞ desta aula, d_∞( x, y)=\| x- y\|_∞=_i|x_i-y_i|, satisfaz automaticamente os três axiomas de métrica, pelo mesmo argumento geral de que toda métrica induzida por uma norma válida herda essas três propriedades da norma que a define.

1. A “maldição da dimensionalidade” descrita para a distância Euclidiana implica que, em espaços de dimensão muito alta (d1000), o algoritmo k-NN deixa de fazer qualquer sentido matemático, pois a distância entre quaisquer dois pontos passa a ser exatamente igual, tornando a operação de ordenação por distância mal definida.

2. Suponha que, em vez da soma usual de d termos quadráticos, a norma L₂ fosse recalculada usando apenas duas coordenadas fixas de um vetor de altíssima dimensão (d=10 000), ignorando as demais 9 998 coordenadas. Nesse caso reduzido, o fenômeno de perda de contraste descrito para altíssima dimensão deixaria de se manifestar da mesma forma, pois o “colapso” de distâncias é, estruturalmente, um efeito do número de coordenadas somadas na norma, não do rótulo nominal da dimensão do espaço ambiente.

3. No dataset Breast Cancer Wisconsin (classificação de diagnóstico de tumores a partir de atributos contínuos), os atributos têm escalas bem diferentes — por exemplo, area_mean na casa das centenas e smoothness_mean na casa dos centésimos. Se o k-NN for aplicado sobre esses atributos sem nenhum reescalonamento (feature scaling), a distância Euclidiana entre dois pacientes será dominada pelos atributos de maior escala numérica, mesmo que atributos de escala menor sejam igualmente ou mais informativos para o diagnóstico.

4. No caso particular em que o espaço de características tem dimensão d=1 (uma única variável numérica), a distância Euclidiana d₂(x,y)=\|x-y\|₂ se reduz a |x-y|, e o fenômeno de “colapso de distâncias” descrito para dimensões muito altas não se aplica, pois não há múltiplas coordenadas cujas contribuições possam se diluir estatisticamente.

1. Suponha, hipoteticamente, que a Desigualdade de Cauchy-Schwarz não fosse válida em ℝ^n. Nesse cenário, a prova de não-negatividade de d_(x,y)=1- — que depende de | x,y|≤\|x\|₂\|y\|₂ para limitar ao intervalo [-1,1] — deixaria de ser válida como está, exigindo uma justificativa alternativa para garantir d_(x,y)≥0.

2. Como d_(x,y)=1- satisfaz não-negatividade e simetria (dois dos três axiomas de métrica), e essas duas propriedades já capturam a “essência” do que significa medir distância, d_ pode ser tratada como uma métrica válida para todos os efeitos práticos e teóricos, inclusive em provas formais que dependam da desigualdade triangular.

3. Em um algoritmo de agrupamento hierárquico aglomerativo aplicado a embeddings de texto, um passo do algoritmo depende de uma desigualdade do tipo “distância(A,C)≤ distância(A,B)+distância(B,C)” para garantir certas propriedades da árvore de fusões. Se d_ for usada diretamente como métrica de distância nesse algoritmo, contando com essa desigualdade, o resultado herda o mesmo risco identificado nesta aula: a garantia pode falhar exatamente pela mesma razão que d_ falha o axioma da desigualdade triangular.

4. No caso extremo em que dois vetores não nulos x,y∈ℝ^n\ 0\ são exatamente paralelos e de mesmo sentido (x=cy para algum c>0), a distância do cosseno atinge seu valor mínimo possível, d_(x,y)=0 — consistente com o primeiro axioma de métrica, mesmo sendo d_, no geral, uma quase-métrica por falhar a desigualdade triangular.

1. Se a matriz de design fosse transposta (linhas = atributos, colunas = observações), o produto que calcula as previsões, Xw, ainda faria sentido dimensional sem qualquer outra mudança na definição de w∈ℝ^d.

2. No caso degenerado em que o dataset tem uma única observação (N=1), a matriz de design X se reduz a um vetor-linha, e o produto Xw ainda é bem definido e produz um único número (a previsão daquela observação).

3. Somar a coluna “renda média” com a coluna “número de cômodos” de um dataset produziria um número sem interpretação física direta, ainda que a operação de soma de vetores esteja matematicamente bem definida.

4. Se dois atributos tiverem escalas numéricas muito distintas (ex.: renda em dólares e número de cômodos), isso impede, por si só, que a matriz de design seja usada corretamente num produto matriz-vetor Xw.

1. Se A∈ℝ^m× n e B∈ℝ^n× k com k=1, o produto AB se reduz exatamente ao produto matriz-vetor Ax, com x=B visto como vetor-coluna.

2. Se a matriz de design X tivesse mais colunas do que linhas (d>N), o produto Xw com w∈ℝ^d ainda estaria bem definido e produziria um vetor de previsões em ℝ^N.

3. Trocar a ordem do produto matriz-vetor, calculando wᵀ Xᵀ em vez de Xw, produz o mesmo conjunto de valores de previsão, ainda que como um vetor-linha em vez de vetor-coluna.

4. Como o produto AB só está definido quando o número de colunas de A é igual ao número de linhas de B, isso significa que Ax e xᵀA nunca podem estar ambos definidos para a mesma matriz A e o mesmo vetor x.

1. Se a matriz A tivesse todas as suas colunas iguais entre si (idênticas), a leitura “por linha” de Ax deixaria de ser válida, mas a leitura “por coluna” continuaria válida.

2. No caso em que x é o vetor da base canônica e_j (uma única entrada igual a 1, as demais 0), a leitura “por coluna” de Ax se reduz exatamente à j-ésima coluna de A, isolada.

3. As duas leituras do produto matriz-vetor descrevem operações matematicamente diferentes, que apenas coincidem por coincidência numérica.

4. Se X é uma matriz de design e w tem exatamente uma entrada não nula (só o peso de um único atributo), a leitura “por coluna” de Xw implica que o vetor de previsões é simplesmente um múltiplo escalar da coluna daquele atributo em X.

1. Se, em vez de N d, tivéssemos N=d exatamente e a matriz X tivesse posto completo, o sistema Xw=y teria, genericamente, exatamente uma solução — nem sobredeterminado nem subdeterminado.

2. No limite em que d=1 (um único atributo), o sistema Xw=y sobredeterminado (N 1) se reduz a encontrar um único escalar w que melhor “explica” N pontos (x_i,y_i).

3. Um sistema sobredeterminado de reconhecimento facial, com muito mais pixels medidos (N) do que parâmetros de um modelo de regressão a estimar (d), enfrentaria, genericamente, o mesmo problema de “nenhuma solução exata” que um sistema sobredeterminado de preços de imóveis (muito mais bairros do que atributos).

4. Como um sistema sobredeterminado não tem, genericamente, solução exata, isso implica que a Regressão Linear Múltipla é uma técnica inútil nesse regime.

1. Existe algum sistema sobredeterminado (mais equações que incógnitas) que tenha, mesmo assim, uma solução exata — não é uma impossibilidade lógica, só um evento não genérico.

2. No caso-limite em que m=0 (sistema sem nenhuma equação), qualquer x∈ℝ^n é, trivialmente, uma “solução” — o sistema tem infinitas soluções por vacuidade.

3. O sistema x₁+x₂=4 e 2x₁+2x₂=8 (a segunda equação é a primeira multiplicada por 2, logo descreve a mesma reta) tem infinitas soluções, e esse conjunto-solução tem uma propriedade que o distingue do caso homogêneo x₁+x₂=0: ele não passa pela origem, já que 0+0≠4.

4. Um sistema linear real que admitisse exatamente duas soluções distintas x₁≠x₂ teria, na verdade, que ter infinitas soluções — incluindo toda combinação λx₁+(1-λ)x₂.

1. Se um sistema homogêneo Ax=0 tem apenas a solução trivial, então o sistema não homogêneo correspondente Ax=b, quando tem solução, tem exatamente uma solução (nunca infinitas).

2. No caso em que A é a matriz nula (A=0), o sistema homogêneo Ax=0 tem ℝ^n inteiro como conjunto-solução, e o sistema não homogêneo Ax=b com b≠0 não tem solução alguma.

3. O conjunto-solução de um sistema não homogêneo Ax=b, com b≠0, também é sempre um subespaço vetorial.

4. Se x₁,x₂ são duas soluções distintas de Ax=b com b≠0, a soma x₁+x₂ também é, em geral, solução do mesmo sistema.

1. Se um conjunto de vetores ₁,…,x_k\ é linearmente dependente, então necessariamente pelo menos um deles pode ser escrito como combinação linear dos demais.

2. Um conjunto formado por um único vetor não nulo, ₁\ com x₁≠0, é sempre linearmente independente.

3. Se um dos atributos da matriz de design fosse literalmente o vetor nulo (uma coluna de zeros, ex.: um atributo binário que nunca é ativado em nenhuma amostra do dataset), essa coluna, junto com qualquer outra coluna não nula, formaria um conjunto linearmente dependente.

4. Como um conjunto de vetores linearmente independentes “não tem redundância”, isso significa que todo subconjunto de um conjunto linearmente dependente também deve ser linearmente dependente.

1. Se v_3 tivesse sido escolhido de forma completamente aleatória (em vez do valor específico (4,9) usado acima), o resultado — dependência linear entre os três vetores — ainda seria garantido.

2. d+1 vetores quaisquer em ℝ^d são sempre linearmente dependentes.

3. É possível encontrar 5 vetores linearmente independentes em ℝ^3.

4. Como o número máximo de vetores linearmente independentes em ℝ^d é d, isso implica que qualquer conjunto de exatamente d vetores em ℝ^d é automaticamente linearmente independente.

1. Se, em vez de “área em m²” e “área em pés²”, tivéssemos “área em m²” e “área em m² mais um ruído de medição aleatório e independente”, essas duas colunas formariam um par exatamente multicolinear (dependência linear exata).

2. No caso em que duas colunas de atributos são idênticas (não só proporcionais, mas exatamente iguais, ex.: o mesmo atributo duplicado por erro de importação de dados), elas são um caso particular de multicolinearidade exata, com fator de proporcionalidade igual a 1.

3. Duas colunas de um dataset financeiro, “salário anual” e “salário mensal” (uma sendo exatamente 12 vezes a outra, sem nenhuma variação adicional), formariam um par de colunas multicolineares exatas, pela mesma lógica do exemplo de área em m²/pés².

4. Como medir o mesmo atributo em duas unidades diferentes tipicamente produz colunas multicolineares exatas, isso significa que toda dupla de atributos fisicamente relacionados entre si (não necessariamente a mesma grandeza em unidades diferentes) também deve ser exatamente multicolinear.

1. Se uma matriz A∈ℝ^m× n tivesse todas as suas n colunas idênticas entre si (e n>1), seu posto seria exatamente 1, independentemente de m e n.

2. O posto de uma matriz A∈ℝ^m× n nunca pode ser maior que (m,n).

3. Uma matriz de design X∈ℝ^N× d com N d (o regime típico de aprendizado supervisionado com muitas observações e poucos atributos) tem, no melhor caso (posto completo), rk(X)=d — nunca N, mesmo com N muito maior que d.

4. Uma matriz é dita deficiente em posto quando seu posto é maior do que (m,n).

1. Se rk(A)≠rk([A|b]) para um sistema específico, isso implica necessariamente que rk([A|b]) = rk(A)+1, nunca uma diferença maior.

2. No caso em que b=0 (sistema homogêneo), rk([A|0]) = rk(A) sempre, e portanto o critério de solvabilidade é automaticamente satisfeito.

3. Um sistema Ax=b em que A tem posto deficiente, mas b está fora do espaço gerado pelas colunas de A, não tem solução, mesmo que A tenha, tecnicamente, “várias direções redundantes” disponíveis.

4. Como posto deficiente pode indicar multicolinearidade exata, toda vez que um sistema Ax=b não tem solução, a causa deve ser posto deficiente de A.

1. Se a correlação entre AveRooms e AveBedrms fosse exatamente 1,0 (em vez de 0,865), o posto da matriz de design cairia de 4 para 3.

2. No limite em que a correlação entre dois atributos tende a 1 mas nunca a alcança exatamente (ex.: 0,999999), o posto da matriz permanece tecnicamente completo, mas o sistema fica numericamente cada vez mais instável.

3. Quase-multicolinearidade pode causar instabilidade numérica no ajuste de um modelo, mesmo sem reduzir tecnicamente o posto da matriz.

4. Dois atributos de um dataset médico, “peso em kg” e “índice de massa corporal (IMC)”, fortemente correlacionados mas não exatamente proporcionais (o IMC depende também da altura), ilustrariam o mesmo tipo de quase-multicolinearidade discutido para AveRooms/AveBedrms, não uma multicolinearidade exata.

1. Se um sistema Ax=b fosse subdeterminado (n>m) em vez de sobredeterminado, ainda haveria um sentido útil para “melhor aproximação” via projeção, mas ele coincidiria trivialmente com uma das infinitas soluções exatas, não com um ponto fora do espaço-coluna de A.

2. No caso-limite em que y está exatamente sobre o espaço-coluna de X, a “melhor aproximação” y=Xw coincide com y, e o problema de mínimos quadrados se reduz ao caso mais simples de um sistema linear com solução exata, sem necessidade de aproximação.

3. Num problema de avaliação de risco de crédito (dataset German Credit), com muito mais clientes registrados (equações) do que atributos considerados no modelo (incógnitas), a mesma lógica de “sistema sobredeterminado sem solução exata, resolvido por projeção” se aplicaria.

4. Como um sistema sobredeterminado não tem solução exata, isso implica que qualquer w escolhido produzirá um erro de magnitude semelhante — a escolha de w não afetaria significativamente a qualidade da aproximação.

1. Se a fonte de luz da analogia da sombra viesse de um ângulo oblíquo fixo (não perpendicular ao subespaço), o ponto de chegada no subespaço, em geral, não seria mais o ponto mais próximo do ponto original.

2. No caso-limite em que o subespaço U tem a mesma dimensão do espaço ambiente (U=V), a “sombra” de qualquer ponto sobre U coincide com o próprio ponto, para qualquer ponto escolhido.

3. A ideia de reduzir a dimensionalidade de dados de alta dimensão para visualização (ex.: reduzir os atributos de um dataset para 2 dimensões e plotar um gráfico de dispersão) usa, na essência, a mesma operação geométrica de projeção perpendicular definida acima.

4. Como a projeção perpendicular minimiza a distância ao subespaço, ela produz sempre o ponto de menor norma dentro do subespaço, entre todos os candidatos.

1. Se U e W são dois subespaços distintos de mesma dimensão M dentro de um espaço V de dimensão D, seus complementos ortogonais U^⊥ e W^⊥ têm, necessariamente, a mesma dimensão entre si (D-M), ainda que U^⊥ ≠ W^⊥ como conjuntos.

2. No caso-limite M=D (o subespaço é o espaço inteiro), o complemento ortogonal se reduz ao subespaço trivial \0\.

3. Num sistema de recomendação por fatoração de matrizes, decompor o vetor de preferências de um usuário numa componente dentro do subespaço latente aprendido (um subespaço) e numa componente ortogonal a ele (o resíduo não explicado pelos fatores latentes) usa a mesma lógica de decomposição única V=U U^⊥ definida acima.

4. Como todo vetor de V se decompõe de forma única em U U^⊥, isso implica que essa decomposição é a única forma possível de escrever qualquer vetor de V como soma de dois vetores de V.

1. Se o operador de projeção :V→ U (com matriz P) satisfaz ²= (P²=P), então, para qualquer vetor u que já pertença ao subespaço U, necessariamente (u) = u.

2. No caso-limite em que a matriz de projeção P_ é a matriz identidade, o subespaço U sobre o qual ela projeta é o espaço ambiente V inteiro.

3. Num sistema de compressão de embeddings via PCA que descarta certas componentes principais (mantendo só um subconjunto delas), a operação de manter as componentes retidas e descartar as demais pode ser descrita, de forma exata, por uma matriz de projeção P_ com P_²=P_.

4. Como toda matriz de projeção satisfaz P_²=P_, isso significa que qualquer matriz quadrada que satisfaça essa condição algébrica também é, necessariamente, simétrica.

1. Se a condição de ortogonalidade fosse verificada apenas para algumas colunas de X (não todas), em vez de todas as d colunas, isso não seria suficiente, em geral, para garantir que o resíduo é ortogonal a todo o espaço-coluna de X.

2. No caso-limite d=1 (uma única coluna, isto é, X é um vetor-coluna x∈ℝ^N), as Equações Normais XᵀXw=Xᵀy se reduzem a uma única equação escalar, w=ᵀyxᵀx.

3. Num problema de estimar a verdadeira nota de qualidade de uma imagem (usada como rótulo de treino) a partir de N anotações redundantes de anotadores humanos (crowdsourcing, cada anotação sendo y_i = + ruído), a mesma derivação das Equações Normais levaria a uma estimativa que é, essencialmente, a média das anotações.

4. Como as Equações Normais são obtidas impondo ortogonalidade coluna a coluna, isso implica que, se duas colunas de X forem ortogonais entre si, a equação normal correspondente a cada uma delas pode ser resolvida de forma totalmente independente da outra, sem nenhum termo cruzado.

1. Se X tivesse posto deficiente (colunas linearmente dependentes), XᵀX deixaria de ser invertível, mas isso não impediria, por si só, que existisse algum w satisfazendo as Equações Normais — apenas deixaria de haver um único.

2. No caso-limite em que X tem uma única coluna não-nula (d=1, x≠0), XᵀX é sempre invertível (é um escalar positivo).

3. Num problema de regressão sobre um dataset com atributos linearmente dependentes (matriz de design X de posto deficiente), a pseudo-inversa (XᵀX)^-1Xᵀ não pode ser calculada da forma usual, mas existem generalizações (pseudo-inversa de Moore-Penrose, via SVD) que contornam exatamente esse problema.

4. Como (XᵀX)^-1Xᵀ é chamada de pseudo-inversa de X, isso significa que ela satisfaz X·(XᵀX)^-1Xᵀ = I (a identidade), do mesmo jeito que uma inversa de matriz quadrada de verdade.

1. Se, em vez de comparar w obtido pela fórmula fechada com o algoritmo lstsq (mínimos quadrados) de uma biblioteca numérica, comparássemos com uma resolução por eliminação de Gauss do sistema XᵀXw=Xᵀy, esperaríamos, a menos de erro de arredondamento, o mesmo vetor.

2. No caso-limite em que y é o vetor nulo, o w que resolve as Equações Normais (com X de posto completo) é necessariamente o vetor nulo também.

3. Num modelo de regressão que prevê o preço de um ativo financeiro a partir de indicadores técnicos (outro dataset, não o California Housing), verificar que o resíduo entre o valor previsto e o valor real é ortogonal aos atributos do modelo é um teste válido de correção, do mesmo jeito que se aplicaria ao ajuste do California Housing descrito acima.

4. Como o resíduo é ortogonal a cada coluna de X, isso implica que o modelo captura toda a informação relevante contida nos dados disponíveis para prever y.

1. Se o R² do ajuste fosse exatamente 0 (o modelo não explica nada da variação de y além da média), o resíduo ainda seria ortogonal a cada coluna de X, contanto que w resolva as Equações Normais.

2. No caso-limite R²=1 (ajuste perfeito), o resíduo y-Xw é o vetor nulo.

3. Num modelo de previsão de nota de estudantes usando só o número de horas de sono (um único atributo, claramente insuficiente para prever notas), seria possível obter um R² baixo e, ainda assim, um resíduo perfeitamente ortogonal a essa única coluna — exatamente como ocorre no ajuste com os 4 atributos do California Housing descrito acima (R²≈0,518 com resíduo ortogonal).

4. Como o resíduo é sempre ortogonal ao espaço-coluna de X quando w resolve as Equações Normais, um R² baixo indica necessariamente um erro no cálculo de w, não uma limitação dos atributos escolhidos.

1. Se a coluna redundante fabricada no exemplo acima fosse -5×AveRooms em vez de 2×AveRooms, o posto de X ainda cairia da mesma forma ao ser adicionada (permaneceria em 4, não subiria para 5).

2. No caso-limite em que todas as d colunas de X fossem múltiplos escalares de uma única coluna não-nula, o posto de X seria exatamente 1, independentemente do valor de d.

3. Num dataset usado para prever demanda de energia elétrica em que um atributo de temperatura é reportado tanto em Celsius quanto em Fahrenheit (uma transformação linear afim exata da outra, não apenas um múltiplo escalar), a inclusão de ambas as colunas na matriz de design também produziria posto deficiente, pelo mesmo princípio da coluna duplicada exata descrita acima.

4. Como a coluna redundante fabricada não acrescenta nenhuma direção independente ao espaço-coluna de X, isso implica que removê-la necessariamente reduz a qualidade das previsões do modelo ajustado.

1. Se, em vez de perturbar MedHouseVal em 1% do desvio-padrão, perturbássemos em 10 vezes esse valor (10% do desvio-padrão), a variação relativa esperada no peso de AveBedrms no par quase-dependente seria, ao menos aproximadamente, também maior do que a observada com a perturbação de 1% — o número de condição alto amplifica perturbações maiores tanto quanto amplifica as pequenas.

2. No caso-limite em que o número de condição de XᵀX tende a infinito, XᵀX se torna, no limite, singular (não invertível).

3. Num modelo de precificação de opções financeiras com duas variáveis de entrada quase redundantes (ex.: duas medidas de volatilidade calculadas por métodos ligeiramente diferentes), a mesma fragilidade numérica (pesos instáveis sob pequena perturbação dos dados) apareceria, mesmo com o posto de X tecnicamente completo.

4. Como o número de condição de XᵀX com os 4 atributos completos (≈ 23 460) é maior do que o do par isolado AveRooms/AveBedrms (≈ 420), isso implica que a previsão y=Xw do modelo completo é proporcionalmente mais instável do que a previsão do modelo com só esse par de atributos.

1. Se, em vez de projetar y sobre col(X), quiséssemos projetar sobre um subespaço diferente gerado pelas colunas de outra matriz Z (mesmas dimensões de X), a matriz de projeção correspondente seria P_'=Z(ZᵀZ)^-1Zᵀ, com a mesma propriedade P_'²=P_'.

2. No caso-limite em que as colunas de X já são ortonormais (XᵀX=I), a matriz de projeção se simplifica para P_=XXᵀ.

3. Em compressão de imagem via PCA, manter apenas as k componentes principais mais informativas e descartar as demais pode ser descrito por uma matriz de projeção P_ com as mesmas propriedades (P_²=P_, simétrica) definidas acima.

4. Como P_=X(XᵀX)^-1Xᵀ∈ℝ^N× N e toda matriz quadrada invertível que satisfaz P²=P só pode ser a identidade, isso implica que P_ só pode ser a matriz identidade quando X tem posto completo.

1. Se fosse possível calcular o número de condição de XᵀX exatamente a partir da razão entre o maior e o menor autovalor de XᵀX, isso tornaria desnecessário o tipo de experimento de perturbação numérica descrito acima (perturbar MedHouseVal e observar a oscilação de w) para detectar fragilidade — mas o experimento de perturbação continuaria sendo uma forma válida de demonstrar o efeito prático dessa fragilidade.

2. No caso-limite em que X tem colunas mutuamente ortogonais e todas de norma 1 (uma base ortonormal do espaço-coluna), o número de condição de XᵀX é exatamente 1 — o melhor condicionamento numérico possível.

3. Num pipeline de aprendizado de máquina em que os atributos de entrada são primeiro padronizados (média 0, desvio-padrão 1) antes do ajuste, essa etapa de pré-processamento pode, dependendo dos dados, influenciar o número de condição de XᵀX resultante, mesmo sem alterar o posto de X.

4. Como as Equações Normais fornecem uma fórmula fechada exata para w sempre que X tem posto completo, isso implica que essa fórmula é sempre o método numericamente mais recomendado para calcular w na prática, independentemente do número de condição de XᵀX.

1. Se x é autovetor de A associado ao autovalor λ=0, então x pertence ao núcleo (espaço-nulo) de A.

2. Uma matriz de rotação pura em ℝ² por um ângulo de 90° não tem nenhum autovetor real, porque nenhuma direção não-nula do plano é mapeada sobre si mesma (nem esticada, nem invertida) por essa rotação.

3. Num sistema dinâmico discreto x_k+1=Ax_k, se x_0 for exatamente um autovetor de A com autovalor λ, então toda a trajetória futura x₁,x₂,… permanece sobre a mesma reta que x_0, só variando em magnitude por potências de λ.

4. Como o autovetor associado a um autovalor não é único, a equação de autovalor Ax=λx admite, para qualquer A e qualquer λ real, pelo menos um autovetor não-nulo que a satisfaça.

1. Se o polinômio característico de uma matriz A∈ℝ²× 2 tiver uma raiz dupla (discriminante zero em Bhaskara), isso garante automaticamente que A tem apenas um autovetor linearmente independente associado a essa raiz.

2. Multiplicar uma matriz A inteira por um escalar c≠ 0 (obtendo cA) preserva exatamente os mesmos autovetores de A, mas multiplica cada autovalor por c.

3. Numa cadeia de Markov usada em aprendizado por reforço, descrita por uma matriz de transição de estados 3× 3, encontrar os autovalores dessa matriz via seu polinômio característico (grau 3) é uma aplicação legítima da mesma técnica de raízes do polinômio característico vista acima para matrizes 2× 2.

4. Como (A-λ I)=0 é a condição para autovalor, isso implica que (A)=0 é condição necessária para que A tenha algum autovalor real.

1. Se dois autovetores distintos, x₁ e x₂, de uma mesma matriz A (não necessariamente simétrica) estiverem associados ao mesmo autovalor λ, então qualquer combinação linear não-nula c₁x₁+c₂x₂ também é autovetor de A com esse mesmo autovalor λ.

2. Se uma matriz A∈ℝ²× 2 tivesse dois autovalores distintos, mas um deles com autoespaço de dimensão 2, isso seria matematicamente possível para essa matriz.

3. Num problema de classificação de imagens em que cada “direção” do espaço de atributos representasse uma característica visual, um autoespaço de dimensão maior que 1 significaria, na prática, que existe mais de uma direção de atributos igualmente “especial” (mesmo fator de escala) para a transformação em questão.

4. Como o vetor nulo nunca é considerado autovetor por definição, isso implica que um autoespaço E_λ nunca contém o vetor 0.

1. Se duas matrizes simétricas A e B compartilhassem exatamente a mesma base ortonormal de autovetores (mesmo Q na decomposição espectral, com possivelmente diferentes), então A e B comutariam, ou seja, AB=BA.

2. O Teorema Espectral Real garante que toda matriz simétrica A∈ℝ^n× n tem exatamente n autovalores distintos entre si.

3. Numa matriz Laplaciana de grafo usada em clustering espectral (sempre simétrica), o Teorema Espectral Real garante autovalores reais e autovetores ortogonais, ainda que esse contexto não tenha nenhuma relação direta com regressão ou projeção.

4. Se uma matriz A tivesse autovalores reais, mas seus autovetores associados a autovalores distintos não fossem ortogonais entre si, isso seria suficiente para concluir que A não é simétrica.

1. Se uma matriz simétrica A∈ℝ^n× n tiver exatamente um autovalor igual a zero e todos os demais estritamente positivos, então A é semidefinida positiva, mas não definida positiva.

2. A soma de duas matrizes simétricas definidas positivas de mesma dimensão, A+B, é sempre definida positiva.

3. Num problema de otimização de portfólio financeiro, se a matriz de covariância dos retornos dos ativos não fosse definida positiva (algum autovalor exatamente zero), isso indicaria a existência de uma combinação de ativos com variância nula — um portfólio livre de risco a partir de ativos individualmente arriscados.

4. Como a forma quadrática xᵀAx de uma matriz definida positiva nunca é negativa, isso implica que xᵀAx=0 é impossível para A definida positiva e x não-nulo qualquer.

1. Se x for exatamente um autovetor de A associado ao autovalor λ_(A), então o quociente de Rayleigh xᵀAx/xᵀx avaliado nesse x é exatamente igual a λ_(A).

2. Se todos os autovalores de uma matriz simétrica definida positiva A dobrarem de valor (cada λ_i→ 2λ_i), o número de condição de A também dobra.

3. Num sistema de equações normais mal-condicionado por causa de dois atributos redundantes de um dataset (quase perfeitamente correlacionados), remover um dos dois atributos do modelo tende a aumentar o menor autovalor relativo de XᵀX e, com isso, reduzir o número de condição.

4. Como o número de condição de uma matriz simétrica definida positiva é sempre maior ou igual a 1, isso implica que qualquer matriz com número de condição exatamente igual a 1 tem que ser, necessariamente, a matriz identidade.

1. Se duas colunas de uma matriz de design X fossem exatamente ortogonais entre si (produto interno zero) e tivessem a mesma norma, a submatriz 2× 2 correspondente de XᵀX restrita a essas duas colunas seria um múltiplo escalar da identidade, com número de condição igual a 1.

2. Para qualquer matriz retangular X∈ℝ^N× d com N≠ d, a própria matriz X (não XᵀX) sempre tem (N,d) autovalores reais, pela mesma lógica do polinômio característico aplicada a XᵀX.

3. Numa matriz de covariância genética (relacionando a expressão de vários genes numa amostra de pacientes), o mesmo raciocínio de autovalor pequeno ⇒ direção quase redundante entre variáveis se aplicaria, ainda que o domínio seja biológico, não imobiliário.

4. Como XᵀX é sempre simétrica semidefinida positiva (independentemente do posto de X), isso implica que XᵀX é sempre invertível, qualquer que seja X.

1. Se a matriz de covariância empírica de dois atributos tiver um dos autovalores muito próximo de zero, isso indica que os dados, nesse par de atributos, estão quase inteiramente concentrados ao longo de uma única direção no plano.

2. Padronizar cada atributo (subtrair a média, dividir pelo desvio-padrão) antes de calcular a covariância nunca muda a direção do autovetor principal, só a magnitude do autovalor associado.

3. Num dataset com atributos em escalas muito diferentes entre si (ex.: idade em anos e renda anual em milhares de reais, como no dataset German Credit), calcular a covariância bruta (sem padronizar) tende a produzir um autovetor principal dominado pelo atributo de maior variância numérica, não necessariamente o mais relevante para o problema.

4. Como a matriz de covariância é sempre semidefinida positiva, isso implica que a soma das variâncias de todos os atributos (o traço da matriz) é sempre igual à soma dos quadrados das covariâncias fora da diagonal.

1. A SVD de A∈ℝ^m× n sempre existe, mesmo quando A tem alguns autovalores complexos (no caso em que A é quadrada).

2. Se A∈ℝ^5× 2 tiver posto 2, sua matriz Σ na SVD reduzida é uma matriz diagonal 2× 2 com ambas as entradas estritamente positivas.

3. Numa matriz de adjacência de um grafo bipartido (linhas = usuários, colunas = produtos, entrada 1 se o usuário comprou o produto), a SVD está bem definida mesmo que o número de usuários seja muito diferente do número de produtos.

4. Como toda matriz quadrada tem autovalores (reais ou complexos) e toda matriz retangular tem valores singulares, isso implica que autovalor e valor singular são, no fundo, o mesmo conceito com nomes diferentes.

1. Se AᵀA tiver um autovalor com multiplicidade geométrica 2 (autoespaço de dimensão 2), os dois vetores singulares à direita associados a esse autovalor não são únicos — qualquer base ortonormal desse autoespaço serve.

2. Se A for a matriz nula (A=0, todas as entradas zero), a construção da SVD descrita acima ainda produz uma SVD válida, com todos os valores singulares iguais a zero.

3. Numa matriz de co-ocorrência de palavras (linhas e colunas ambas indexadas pelo vocabulário, entrada = frequência conjunta), AᵀA e AAᵀ continuam sendo, cada uma, simétricas e semidefinidas positivas, pela mesma prova geral (ver Convenções).

4. Como os vetores singulares à esquerda são definidos como u_i=Av_i/σ_i, isso implica que, para calcular U, é sempre necessário calcular também a decomposição espectral de AAᵀ separadamente.

1. Se todos os valores singulares de A forem iguais a um mesmo valor c>0, então \|Ax\|₂=c\|x\|₂ para todo vetor x, não só para o vetor que maximiza a razão.

2. Para uma matriz identidade I_n∈ℝ^n× n, a norma espectral \|I_n\|₂ tende a infinito conforme n→∞.

3. Na matriz de pesos de uma camada linear de uma rede neural, \|W\|₂ (a norma espectral) limita o quanto essa camada pode, no pior caso, amplificar a norma de um vetor de ativação que passa por ela.

4. Como a norma espectral é o maior valor singular, isso implica que a soma de todos os valores singulares de A é igual à norma de Frobenius de A.

1. Se σ_3 de uma matriz A de posto 5 for exatamente igual a σ_4, a aproximação de posto 3, A^(3), ainda assim fica bem definida e única.

2. No limite em que se usa k=posto(A) (isto é, sem truncar nada), a aproximação A^(k) coincide exatamente com A.

3. Numa matriz de avaliações de estudantes (linhas = estudantes, colunas = provas, entrada = nota), uma aproximação de posto 1 equivaleria, aproximadamente, a resumir cada estudante por uma única nota de “habilidade geral” e cada prova por um único peso de “dificuldade”.

4. Como a aproximação de posto-k descarta os σ_i menores, isso implica que ela sempre preserva os valores absolutos exatos das entradas mais extremas (maiores em módulo) da matriz original A.

1. Se existisse uma matriz B de posto k com \|A-B\|₂ estritamente menor que \|A-A^(k)\|₂, isso contradiria diretamente o Teorema de Eckart-Young-Mirsky.

2. No caso extremo k=0 (a única matriz de “posto 0” é a matriz nula), o Teorema de Eckart-Young-Mirsky garante que \|A-0\|₂=σ₁, isto é, a própria norma espectral de A.

3. Num sistema de compressão de imagens que usa aproximação de baixo posto (como o clássico exemplo de comprimir a imagem de um monumento reduzindo o posto de sua matriz de pixels), a mesma garantia de otimalidade do Teorema de Eckart-Young-Mirsky se aplica, já que comprimir uma imagem é, matematicamente, aproximar sua matriz de pixels por uma de posto menor.

4. O próprio nome “Eckart-Young-Mirsky” vem da generalização de Mirsky (1960): a mesma A^(k) que minimiza \|A-B\|₂ também minimiza \|A-B\|_F (norma de Frobenius) entre as matrizes de posto k — e, por ser a mesma matriz minimizadora nos dois casos, isso implica que o valor mínimo do erro é numericamente igual nas duas normas.

1. Se a matrix quadrada A já for ortogonal (AᵀA=I), sua Decomposição Polar tem S=I e Q=A.

2. Se todos os valores singulares da matrix quadrada A forem iguais entre si (σ₁=…=σ_n=c), o fator S da Decomposição Polar é exatamente cI (um múltiplo escalar da identidade).

3. Numa iteração de treinamento de rede neural que ortogonaliza a matriz de atualização de pesos antes de aplicá-la (o algoritmo iterativo de Newton-Schulz), o alvo dessa ortogonalização é precisamente o fator Q da Decomposição Polar da matriz de atualização original.

4. Como S é sempre semidefinida positiva na Decomposição Polar, isso implica que S é sempre invertível, qualquer que seja A.

1. Se A for simétrica, a SVD de A e a decomposição espectral de A (ver Convenções) coincidem exatamente, com U=V=Q e Σ=|| (valor absoluto de cada autovalor).

2. Se A for simétrica mas tiver algum autovalor negativo, os vetores singulares (à esquerda ou à direita) associados a esse autovalor podem diferir, em sinal, do autovetor correspondente da decomposição espectral.

3. Numa matriz de covariância empírica de atributos (sempre simétrica semidefinida positiva), calcular a SVD ou a decomposição espectral dá exatamente o mesmo resultado, sem nenhuma diferença de sinal a se preocupar.

4. Como toda matriz simétrica tem decomposição espectral (ver Convenções), isso implica que só matrizes simétricas têm SVD, já que a SVD seria apenas um caso particular da decomposição espectral.

1. Se uma quinta coluna fosse adicionada a uma matriz de design X∈ℝ^16 640×4 como cópia exata de uma coluna já existente (multiplicada por um escalar não-nulo), o quinto valor singular da nova matriz X'∈ℝ^16 640× 5 seria exatamente zero.

2. Aumentar artificialmente a escala de uma única coluna de X (por exemplo, medir um atributo em unidades 1000× maiores) nunca muda nenhum dos valores singulares de X.

3. Num modelo de regressão sobre o dataset Breast Cancer Wisconsin (atributos em escalas bem diferentes, como área do núcleo celular vs. simetria), a mesma relação cond(XᵀX)=cond(X)² se aplicaria à matriz de design correspondente.

4. Como σ_i(X)²=λ_i(XᵀX) para todo i, isso implica que o vetor singular à esquerda u₁ de X é igual ao autovetor principal de XᵀX.

1. Na matriz de notas de filmes descrita nas Convenções acima, se um quarto espectador desse nota 5 a todos os quatro filmes por igual, esse espectador contribuiria para um valor singular adicional além dos três já existentes, mesmo que sua nota não distinga nenhum tema.

2. No limite em que só se usa o primeiro perfil latente (k=1), a filtragem colaborativa deste exemplo passa a prever a mesma proporção relativa de notas de ficção científica para qualquer espectador.

3. Num sistema de recomendação de música (matriz usuário × artista, notas de audição implícitas), a mesma lógica de perfis latentes via SVD/aproximação de baixo posto se aplicaria, trocando “filme”/“espectador” por “artista”/“ouvinte”.

4. Como a interpretação de u_i/v_i como “temas”/“perfis” depende da suposição de que as notas seguem exatamente uma combinação linear desses perfis, essa interpretação deveria ser tratada como uma leitura conveniente, não como um fato provado sobre os dados.