La veille technologique ou « intelligence technologique» est désormais indispensable pour toute entreprise soucieuse d’améliorer sa capacité d’innovation et son intelligence commerciale par la détection puis l’analyse de l’information utile relative aux marchés. Un processus de veille technologique efficace doit nécessairement s’appuyer sur des méthodes claires et des outils performants. Eclairage.
Les processus de surveillance permettent à l’entreprise de détecter les évolutions et les nouvelles tendances en matière d’innovation et de nouvelles technologiques déployées par les clients, les fournisseurs, les partenaires et les concurrents, de manière à disposer d’une vue tous azimuts sur un domaine spécifique. Les réseaux sociaux, professionnels ou grand public comme LinkedIn, Facebook, Google+ et Twitter, sont certes indispensables, à condition d’avoir les bons contacts et d’utiliser des outils performants pour filtrer les données comme Paper.li et Google Alerte. Cependant, ces sources de données, aussi importantes soient-elles, ne permettent pas d’aller au-delà des données accessibles à tous. En effet, la quantité de données produites au cours des dernières années a dépassé celle de toute l’histoire humaine depuis l’invention de l’écriture ! Et pour maîtriser cette déferlante, il était indispensable de créer des outils à même de filtrer, trier, analyser, segmenter et organiser toutes ces données de manière à mieux les exploiter.
Les processus de Crawling permettent de scruter le web invisible qui correspond à la partie du web contenant des documents non indexés par les outils de recherche traditionnels. Selon le Grand dictionnaire terminologique de l’Office québécois de la langue française, le Web caché comprend « les sites Web construits autour d’une base de données (interrogeable uniquement par un moteur de recherche interne), les pages accessibles par un formulaire de recherche, les pages protégées par un mot de passe, les pages interdites aux robots d’indexation, les pages écrites dans des formats propriétaires, les intranets et les extranets ». Ces derniers contiennent des données très intéressantes mais difficilement accessibles sans avoir recours à un Crawler.
Un Crawler est un programme informatique dont la fonction consiste à passer au crible les pages des sites et d’en extraire toutes les informations, y compris les données contenues dans le web invisible. L’analyse et le traitement des données constituent le principal défi de l’intelligence commerciale pour pallier le phénomène « d’infobésité » et de l’internet « infini ».
Vous nourrissez l’ambition de devenir ingénieur informatique ? Découvrez le cycle d’ingénierie informatique de l’EPSI !