Como transcrever textos manuscritos?

*  Google Gemini

(Texto e gravura)

Faz-se entender perfeitamente. O que procura é o que chamamos no mundo tecnológico de uma solução local e privada (em que tudo corre no seu computador, sem mandar dados para fora e sem depender da internet) e que permita fazer duas coisas: OCR/HWR (reconhecimento de caligrafia) e Fine-Tuning/RAG (a aprendizagem contínua do modelo para se adaptar àquela letra específica).

A boa notícia é que isto é totalmente possível hoje (com a evolução dos computadores e dos modelos abertos), mas exige um computador com alguma capacidade (especialmente uma boa placa gráfica/GPU).

Aqui estão as opções de software que pode correr 100% no seu PC para criar essa sua base de dados de aprendizagem:

1. Para o Reconhecimento da Escrita (O "Olho" do PC)

Os modelos de inteligência artificial genérica (como eu) às vezes falham em detalhes visuais de caligrafia corrida. Para digitalizar centenas de páginas, o ideal é usar primeiro uma ferramenta local de OCR focada em manuscritos:

• Transkribus (Versão Local): É a ferramenta de eleição para historiadores e paleógrafos. Permite que ensine o programa a ler uma caligrafia específica. À medida que corrige as primeiras 10 ou 20 páginas, ele gera um "modelo de caligrafia" específico para aquele autor. Embora a plataforma use muito a nuvem, eles têm opções e fluxos para trabalho offline/local para projetos institucionais ou privados.

• Tesseract OCR + Python: Uma solução totalmente gratuita e offline. Pode ser treinada localmente com amostras da caligrafia da pessoa para aumentar a eficácia a transcrever relatórios ou postais.

2. Para a Aprendizagem e Memória (O "Cérebro" no seu PC)

Para evitar ter um ficheiro de texto gigante que rebenta com a memória do programa, a tecnologia atual usa RAG (Retrieval-Augmented Generation) ou Bases de Dados Vetoriais Locais. Basicamente, o software fatia os seus textos em milhares de pedaços e, quando faz uma pergunta, ele consulta essa base de dados no seu disco rígido instantaneamente.

Os melhores softwares gratuitos para fazer isto no seu PC, sem internet, são:

• AnythingLLM: É uma interface visual fantástica. Instala-o no seu PC, cria um "Workspace" (Espaço de Trabalho) e arrasta para lá todos os relatórios, cartas e poemas que já transcreveu. Ele cria a base de dados local sozinho. Depois, pode usar um modelo de linguagem gratuito (como o Llama 3 ou o Mistral) a correr no seu computador através de um programa chamado Ollama.

• LM Studio: Outro programa excelente e muito intuitivo para instalar no computador. Permite descarregar modelos de IA para o seu disco e carregar pastas cheias de documentos de texto para o modelo os "estudar" e usar como memória local.

• Open WebUI: Se preferir uma interface muito parecida com o ChatGPT, mas a correr inteiramente no seu navegador de internet de forma offline (ligado ao seu PC), esta é a escolha ideal para gerir os seus documentos.

Como seria o seu fluxo de trabalho ideal?

1. Fase de Extração: Usa um software como o Transkribus local ou faz a transcrição manual inicial para criar o "dicionário" de caligrafia.

2. Fase de Arquivo: Guarda as transcrições limpas em ficheiros de texto normais (.txt) ou formato Markdown (.md) organizados por pastas no seu computador.

3. Fase de Inteligência Local: Abre o AnythingLLM (ou LM Studio), aponta para essa pasta de transcrições e deixa o programa indexar tudo.

A partir desse momento, tem a sua própria IA privada que conhece todos os relatórios, as regras de paginação que lhe ensinou e todas as memórias daquela secretária ou daquele autor, respondendo-lhe em segundos sem que um único byte saia do seu gabinete.

 O objetivo é criar um sistema prático, direto e que funcione como uma gaveta digital no seu computador: entra o texto manuscrito já dactilografado, o programa organiza-o e aprende com ele, sem complicações.

Aqui está a divisão de custos e o que precisa de validar no seu computador:

1. Quais são Gratuitos e quais são Pagos?

Para o que pretende fazer (uso pessoal no seu próprio PC), a grande vantagem é que quase tudo é gratuito.

• AnythingLLM: Totalmente Gratuito (versão Desktop). Pode descarregar, criar as suas pastas de documentos ("Workspaces") e usá-lo sem pagar nada.

• LM Studio: Totalmente Gratuito para uso pessoal. É excelente para descarregar os cérebros de IA (modelos) diretamente para o disco rígido.

• Ollama: Totalmente Gratuito. Funciona em segundo plano e serve para gerir os modelos de IA no seu computador.

• Transkribus: Modelo Misto. O programa em si é gratuito e dão-lhe créditos gratuitos no início. No entanto, para transcrever em massa (centenas de páginas) usando a inteligência de reconhecimento de caligrafia deles, poderá ter de comprar pacotes de páginas mais tarde (mas pode fazer testes sem pagar).

2. O seu PC aguenta? (Como Saber os Requisitos)

Para correr uma Inteligência Artificial sem internet, o computador precisa de fazer o esforço que os servidores das grandes empresas normalmente fazem. O fator mais importante aqui é a Memória RAM e o Processador (CPU).

Os Requisitos Ideais:

• Mínimo aceitável: 8 GB de RAM (consegue correr modelos de IA muito pequenos e leves).

• Recomendado: 16 GB de RAM ou mais (permite que o programa leia os seus textos e responda com rapidez e boa qualidade).

• Espaço em Disco: Cerca de 10 GB a 50 GB livres (os "cérebros" das IAs locais ocupam bastante espaço, normalmente entre 3 GB e 8 GB cada um).

Como verificar o seu PC (no Windows):

1. Pressione as teclas Ctrl + Shift + Esc em simultâneo para abrir o Gestor de Tarefas.

2. Clique na aba "Desempenho" (ou no ícone que parece um gráfico no lado esquerdo).

3. Clique em "Memória": Verifique o número no canto superior direito (ex: 8 GB, 16 GB, 32 GB). Se disser 16 GB ou mais, está no caminho certo.

4. Clique em "CPU": Veja o nome do processador. Se for um Intel Core i5/i7 (de gerações recentes) ou um AMD Ryzen 5/7, o computador tem força suficiente.

A Minha Recomendação Prática

Se o seu computador tiver 16 GB de RAM, o caminho mais simples e funcional é:

1. Instalar o AnythingLLM (que será a sua pasta/gabinete onde arrasta os textos).

2. Durante a configuração dele, ele próprio permite descarregar um modelo de IA interno (como o Llama 3 ou Mistral) com apenas um clique.

Assim, fica com um único programa visual onde guarda as centenas de páginas convertidas e pode começar a fazer perguntas ao seu arquivo de imediato.

"""""""""""""

 Esta imagem dá-nos a radiografia exata do seu computador e permite-me ser muito honesto consigo sobre o que podemos fazer.

Olhando para os dados:

• Memória: O seu computador tem 4 GB de RAM (o gráfico diz 3,1/3,4 GB, o que significa que o sistema já está a usar 91% da capacidade total dele).

• Gráficos (GPU): É uma placa integrada antiga (Intel HD Graphics), com apenas 113 MB de memória dedicada.

O Diagnóstico sincero:

Com estas características, o seu computador atual não tem força para correr uma Inteligência Artificial localmente (offline). Os cérebros digitais modernos precisam de, no mínimo absoluto, 8 GB de RAM livres só para eles (o ideal seriam 16 GB). Se tentássemos instalar o AnythingLLM ou o LM Studio com um modelo offline, o computador iria ficar extremamente lento ou iria simplesmente "ir abaixo" por falta de memória.

Qual é a alternativa para o seu caso?

Não desanime, porque o seu objetivo de organizar e digitalizar as centenas de páginas ainda é perfeitamente viável, mas o caminho terá de ser ligeiramente diferente:

1. Criar o arquivo no PC (Sem IA): Pode criar uma pasta no seu computador e escrever/guardar lá os textos dactilografados em ficheiros normais do Bloco de Notas (TXT) ou Word. O seu computador lida com isso sem qualquer esforço.

2. Usar a IA através da Internet (como está a fazer agora): Em vez de ter o "cérebro" instalado no seu PC, continua a usar uma IA online (como eu) para o ajudar a transcrever, resumir ou analisar os textos quando precisar. Pode simplesmente ir copiando partes do seu arquivo para aqui.

O seu computador é ótimo para trabalhar como a sua antiga máquina de escrever e arquivo digital (armazenar os relatórios e pareceres); mas para a parte de "pensar" e processar a IA, terá de continuar a contar com a ajuda da internet.

Quando tiver oportunidade de ligar esse computador mais recente, faça exatamente o mesmo teste (Ctrl + Shift + Esc). Se lá ler 16 GB de Memória RAM (ou pelo menos 8 GB), já tem luz verde total para avançar com o plano de instalar o AnythingLLM e trabalhar de forma 100% privada, rápida e sem internet.

Por hoje, já descobrimos o caminho e desvendámos os mistérios da caligrafia e dos médicos de antigamente. 

Com 1 TB (Terabyte) de capacidade no seu computador mais recente, tem espaço mais do que suficiente! Não vai precisar de um disco externo para este projeto.

Para ter uma ideia prática do que esse espaço significa:

• As centenas de páginas manuscritas convertidas em texto vão ocupar apenas alguns Megabytes. Mesmo que sejam milhares de relatórios, o texto limpo ocupa um espaço minúsculo.

• O "cérebro" da Inteligência Artificial que vai descarregar para trabalhar offline ocupa entre 3 GB e 8 GB.

Ou seja, no seu disco de 1 TB (que equivale a 1000 GB), o projeto todo vai ocupar uma fração pequeníssima do espaço disponível (menos de 1% do disco). Pode guardar tudo à vontade diretamente no computador novo.

Quando decidir ligar essa máquina, o foco será mesmo apenas confirmar a Memória RAM para garantir que ela tem a agilidade necessária para processar as suas perguntas.

Ah, peço desculpa pela confusão! Estava focado no mais recente, mas percebi perfeitamente agora.

Fazer com que este computador mais antigo — com 1 TB de disco — sirva de grande "gabinete de arquivo" para guardar as digitalizações das páginas (as imagens pesadas que saem do scanner) é, na verdade, uma excelente ideia de organização. Pode usar o espaço generoso dele para armazenar e organizar as fotografias ou digitalizações dessas centenas de documentos em pastas bem estruturadas.

No entanto, o nó cego deste computador mais antigo mantém-se na Memória RAM (os 4 GB que vimos no gráfico). Mesmo que ele tenha imenso espaço para guardar coisas (o disco de 1 TB), ele não tem "músculo" na RAM para abrir e correr o cérebro de uma IA offline.

Por isso, o plano ideal dividido entre as duas máquinas seria este:

• No Computador Antigo (Este de 1 TB): Usa-o para digitalizar, armazenar as centenas de imagens pesadas das cartas/relatórios e ir dactilografando os textos. É o seu banco de dados/arquivo.

• No Computador Recente: Quando precisar que a Inteligência Artificial faça pesquisas nas transcrições, resumos de pareceres ou cruze dados sem internet, passa essa pasta de textos para lá (basta uma simples pen drive) e deixa a IA local do computador mais recente processar tudo com a sua RAM mais forte.

Desta forma, dá uma excelente utilidade à capacidade deste computador atual e deixa o trabalho pesado de inteligência para o mais novo. Uma excelente divisão de tarefas!

Concentrar tudo no computador mais recente evita que ande com ficheiros de um lado para o outro em pens USB e poupa-lhe a frustração de trabalhar numa máquina mais lenta. No computador novo terá:

1. Rapidez para dactilografar e abrir as digitalizações instantaneamente.

2. Espaço de sobra (com esse 1 TB ou mais) para guardar milhares de páginas.

3. Músculo (RAM) para correr a Inteligência Artificial localmente e sem internet de forma fluida.

Fica com um único "gabinete digital", moderno e centralizado.

Quando decidir ligar essa máquina e quiser dar os primeiros passos para instalar o AnythingLLM ou organizar o arquivo, estarei por aqui para ajudar. Por hoje, a estratégia está traçada. Bom descanso e até à próxima!

https://gemini.google.com/app/3612497a5db47f48