Vous êtes ici

web scraping

Portrait de ivan

Bypass du script antibot "testcookie"

J'ai constaté il y a quelques jours que l'application Android sur laquelle je travaille à mes heures perdues, ApkTrack, ne parvenait plus à lire l'un des sites sur lesquelles elle récupère habituellement des informations.
Pour résumer, ApkTrack fait principalement du web scraping pour collecter des informations de version, et il arrive régulièrement que les sites consultés mettent en place des mesures pour empêcher les robots, même non-malveillants, d'accéder à leur contenu. Ce post décrit l'une de ces contremesures à laquelle j'ai été confronté ce week-end, et comment elle a pu être contournée.

English version English version

Portrait de ivan

I, Robot

Lorsqu'on est jeune, qu'on a une vie sociale, et qu'on est en juillet, on a pas forcément envie d'aller sur un site toutes les deux heures juste pour trouver du travail. On a même pas forcément internet. Comme souvent, la solution maline, c'est de scripter, et de laisser aux ordinateurs les tâches répétitives pendant qu'on mange des glaces sous la pluie battante de notre été pourri.
Subscribe to RSS - web scraping