httpx
O HTTPX é uma ferramenta desenvolvida pela ProjectDiscovery que fornece recursos avançados para realizar requisições HTTP em massa. Essa ferramenta é projetada para ajudar os profissionais de segurança e pesquisadores a validar o status code das respostas HTTP, bem como a remover duplicados de uma lista de URLs. O HTTPX é altamente configurável, rápido e eficiente, tornando-se uma escolha popular para testes de penetração e auditorias de segurança.
https://github.com/projectdiscovery/httpx

Instalação
Para instalar o httpx, é necessário ter o Go instalado em seu sistema. Caso
ainda não tenha o Go instalado, você pode fazer o download
aqui.
Após ter o Go configurado, execute os seguintes comandos:
go install -v github.com/projectdiscovery/httpx/cmd/httpx@latest
sudo mv ~/go/bin/httpx /usr/bin/
Esses comandos baixarão o código-fonte mais recente do httpx, compilarão o
programa e o instalarão no diretório /usr/bin/, permitindo que você o execute
globalmente em seu sistema.
Filtrando Status-Code
Filtrando status code, removendo duplicados e salvando:
cat tesla_urls.txt | httpx -status-code -mc 200 | anew js200
Conclusão
O HTTPX é uma ferramenta altamente útil para validar respostas HTTP e remover duplicados de uma lista de URLs. Sua flexibilidade, velocidade e opções de saída personalizáveis o tornam uma escolha popular entre os profissionais de segurança e pesquisadores. Para explorar todas as opções disponíveis e recursos avançados do HTTPX, consulte a documentação completa e o código-fonte no repositório oficial do projeto.