qui était le père de la théorie de l’information

Grâce à des penseurs comme Alan Turing et John von Neumann, les portes de l’ère informatique se sont ouvertes. Leur contribution a été essentielle, décisive. Mais celui qui a jeté les bases solides sur lesquelles construire la nouvelle théorie de l’information, qui a réussi à libérer, à capter l’essence de l’information, c’est-à-dire à l’abstraire du monde matériel, c’est Claude Shannon. Qui, avec Kotelnikov en Union soviétique, a développé indépendamment la théorie de l’information, qui allait révolutionner le monde des télécommunications.

La famille Shanon

Gaylord est une petite et charmante commune rurale de 3000 habitants entourée de verdure. Vergers, bois d’érables et de hêtres. Une petite ville du Michigan où M. Claude Shannon Sr. vit et gère un magasin de meubles. Tandis que Mme Mabel Wolf, née à Lansing le 14 septembre 1880, fille d’un émigré d’Allemagne et seconde épouse de Shannon Sr, enseigne les langues dans un lycée de sa ville natale, Lansing, située à quelques kilomètres de Gaylord. Lansing est également l’endroit où les deux se sont mariés en août 1909. Très religieux et fervents croyants, ils visitaient fréquemment une église protestante locale. Ils ont eu deux enfants, l’aînée Catherine, née en 1910, et Claude Jr. né en 1916.

Enfance

Claude Elwood Shannon est né à Petoskey, Michigan le 30 avril 1916. Il a passé son enfance dans la ville de Gaylord. Une enfance tranquille et normale, dans laquelle ce n’est pas lui mais sa sœur aînée qui excelle dans la famille. Élève modèle doué pour les maths et doté d’une forte créativité. A cette créativité s’ajoute une passion pour la musique et pour le piano. Catherine parvient à obtenir un diplôme en mathématiques de l’Université du Michigan.

Une telle préparation a suscité beaucoup de curiosité chez un jeune Claude et une volonté de donner le meilleur de lui-même. En fait, c’est lui-même qui déclara plus tard : “Le talent de ma soeur pour les maths peut avoir suscité mon intérêt pour cette affaire. Claude est diplômé de Gaylord High School en 1932, tout en réussissant simultanément à effectuer de petits travaux, notamment: livrer des télégrammes et réparer des radios.

A la même époque, son intérêt pour le fonctionnement et la fabrication, un Maker avant la lettre, le pousse vers la fabrication d’équipements. Il entreprit la construction d’un télégraphe avec lequel il réussit à relier sa maison à celle d’un de ses amis. Câblage avec le fil de fer barbelé qui entourait et protégeait leurs maisons.

Éducation

Claude Shannon, père de la théorie de l’information, est diplômé de la Gaylord High School en 1932. Suivant les traces de sa famille, il s’inscrit à l’université. Sa mère Mabel et sa sœur Catherine sont toutes deux diplômées de l’université. À l’Université du Michigan, il franchit sa première étape en 1936 en obtenant un baccalauréat en mathématiques.

Sa passion pour les études, le besoin croissant d’ingénieurs, également imposé par les événements historiques malheureux que traversaient l’Amérique et le monde, l’ont poussé à poursuivre ses études universitaires. Il a décidé de profiter d’une annonce qu’il voit affichée sur le babillard du Département de génie électrique du MIT. Cette annonce annonçait un poste d’étudiant-assistant dans le développement du célèbre analyseur différentiel, un ordinateur analogique électromécanique conçu pour résoudre des équations différentielles. La chance est de son côté, il entre au MIT. Claude obtient (également grâce à l’avantage tiré du chevauchement de nombreux examens des deux filières différentes) le diplôme en génie électrique. Plus tard, il déclarera : « Grâce à ce chevauchement d’examens, le second degré ne m’a pas coûté beaucoup d’efforts.

Les années MIT

Au MIT, il rejoint le groupe de Vannevar Bush, créateur de l’analyseur différentiel. Grâce à sa profondeur scientifique et à sa notoriété dans le monde universitaire américain, Bush a ensuite été également affecté, expressément par le président Roosevelt, au National Defense Research Committee, contribuant au développement d’appareils militaires avec des rôles même dans le projet Manhattan.

En tant qu’assistante, le travail de Shannon consistait à entretenir et vérifier les composants complexes de l’analyseur. Des composants également composés de centaines et de centaines de relais. Mais le tournant, le tournant, est survenu en 1937, lorsqu’il est allé à New York du MIT, dans un endroit où un autre groupe de personnes étudiait simultanément pour rapprocher la logique mathématique de la conception de circuits. Cet endroit était les Bell Laboratories, à l’époque les laboratoires de la compagnie de téléphone américaine, où Shannon se rendait pour un stage d’été.

Le tournant

Après cette période de stage d’été, Shannon commence à composer son puzzle mental : il reconstitue pour la première fois, les connaissances qu’il avait de la logique de Boole avec les circuits. Associant ainsi l’algèbre booléenne (l’algèbre développée au milieu du XIXe siècle par le mathématicien anglais George Boole) à la commutation des circuits électriques dans le but de réduire, ou plutôt de simplifier, la commutation dans les réseaux téléphoniques avec interrupteurs et relais.

Ses idées et ses études ont été publiées dans la thèse du MIT, “A Symbolic Analysis of Relay and Switching Circuits” publiée en 1938 sur les “Transactions of the American Institute of Electrical Engineers”. Dans les décennies suivantes, on l’appelait “la thèse la plus importante qui ait jamais été écrite”.

Shannon et la théorie de l’information

Shannon était célèbre pour sa mémoire et son intelligence inégalées. Il était capable de dicter des articles scientifiques de mémoire et des croquis ou des notes très rarement utilisés. Il a été enrôlé par le Pentagone pour faire des recherches sur le guidage des missiles et après la fin de la guerre, en 1948, il a publié l’essai en deux parties « Une théorie mathématique de la communication ». Ce travail est considéré comme l’une des recherches fondamentales qui ont jeté les bases de la théorie moderne de l’information. Dans l’article, Shannon a défini les composants essentiels des communications numériques :

• L’information de départ, qui constitue le message initial.
• L’émetteur, qui reçoit l’information et la traduit en un message à transmettre sur le canal.
• Le canal, qui agit comme un moyen de transmission du signal, assure sa livraison au destinataire.
• Le récepteur, qui reçoit le signal transmis par le canal et le décode.
• Le destinataire, qui peut être une personne ou une machine, qui reçoit le message et comprend sa signification.

Dans son travail, Shannon a développé les concepts fondamentaux d’entropie et de redondance de l’information, qui sous-tendent la théorie des codes et du codage de source dans les communications numériques.

Shannon, le père du mot “bit”

Dans cet article, Shannon a inventé le mot “bit” qui nous est si familier aujourd’hui. Le bit est une contraction de “binary digit”. C’est l’unité de mesure fondamentale utilisée pour quantifier et représenter l’information dans l’environnement numérique. Un bit peut prendre deux valeurs distinctes : 0 ou 1. Il représente la plus petite unité de données pouvant être traitée ou stockée dans un système de traitement ou de transmission d’informations.

Le concept de bits est à la base du système binaire, largement utilisé dans le numérique, l’informatique et les télécommunications. En combinant des bits, il est possible de représenter des informations plus complexes, telles que des nombres, du texte, des images et des sons, en utilisant des codages spécifiques.

Théorème de Shannon

Les contributions les plus importantes de Shannon sont sans aucun doute ses théorèmes d’échantillonnage et de codage. Et si nous vous disions que nous pouvons écouter notre musique préférée sur des appareils numériques, uniquement grâce au théorème de Shannon, fondateur de la théorie de l’information ? En 1949, il démontre dans un article scientifique le théorème d’échantillonnage qui permet d’établir les conditions dans lesquelles il est possible de transformer un signal analogique en signal numérique sans dégrader sa qualité.. En fait, le théorème devrait s’appeler Whittaker-Nyquist-Kotelnikov-Shannon (WNKS), selon l’ordre chronologique de ceux qui ont démontré des versions progressivement plus généralisées.

Mais ce n’est pas tout, l’autre théorème de Shannon important utilisé dans les télécommunications s’appelle : « Théorème de codage en présence de bruit ». En théorie de l’information, le deuxième théorème de Shannon, également connu sous le nom de “théorème de codage de canal”, stipule que malgré la présence de bruit dans un canal de communication, il est toujours possible de transmettre des données ou des informations par ce canal avec une probabilité d’erreur Pe aussi faible que souhaité, jusqu’à une certaine fréquence maximale.

Ce résultat surprenant, considéré comme le théorème fondamental de la théorie de l’information, a été présenté pour la première fois par Claude Shannon en 1948. La capacité de Shannon, ou limite de Shannon, représente le débit maximal de transfert de données qu’un canal de communication peut fournir pour un rapport signal sur bruit donné. , tout en maintenant un faible taux d’erreur à volonté.

vie académique

En 1949, il publie “La théorie de la communication dans les systèmes cryptographiques”, donnant naissance à la théorie mathématique de la cryptographie. À partir de 1956, il est devenu membre de l’Académie nationale des sciences et, en plus de sa passion pour les mathématiques et l’ingénierie, Shannon était également jongleur et joueur d’échecs et s’adonnait au monocycle. Au cours de ces années, il est également devenu professeur et chercheur au MIT.

Claude Shannon est décédé le 24 février 2001 à Medford, Massachusetts. Six statues lui ont été dédiées, dont une à l’Université du Michigan, une au MIT et une autre aux Bell Laboratories.

Crédits images principaux : « Estate of Francis Bello / Science Source“