Clément Corbin software engineering / data / knowledge

Procedural generation: an experiment with Markov chains Repository

A Markov chain is about as simple a generative model as there is: look at what came before, count what tends to follow, and sample from that. I wanted to see how far that one idea carries when applied to two very different kinds of material.

Both experiments use the same basic pipeline: harvest source material, build a transition matrix, then walk it to generate new output.

Text. I started with a handful of articles from French WikiSource, split them into words, and modelled the probability of each word being followed by another. A few simple distributions handle the edges of the process — where sentences start and end, how long they tend to be, and which punctuation marks appear at the end. Generation then amounts to choosing a starting point and walking the chain until a sentence has reached a plausible length.

The output is locally convincing and globally incoherent: the classic first-order signature. Adjacent pairs look like the source; the sentence drifts, because the model remembers exactly one word of context. It reads like a language you half-know, or a damaged broadcast.

Image. The same idea, applied to pixels. Quantise each colour to 16 levels per channel (4 096 possible colours, each encoded as a three-character hex string) and for every colour record what appears in each of the eight neighbouring positions. Generating an image seeds a few pixels and grows outward from a work queue, sampling each neighbour from its position-specific distribution.

A pixel-level model captures the source's local visual statistics (colour transitions at one-pixel scale) but none of its structure. The result looks like the source's texture turned to static: the palette feels right, and nearby pixels have plausible relationships, but objects and edges disappear into noise. It's a visual rendering of exactly what a first-order Markov model does and doesn't know.

What interested me isn't that the outputs are impressive (they aren't) but that the same minimal model produces recognisably text-like and image-like output in two domains at once. The model is the experiment: what does one step of memory buy you, and where does it fall apart?

Sample results

Les régens et qu’ils pourront être précédée d’un développement de toute la fortune publique, dépositaire de charrettes qu’autrefois ; le moment où plus vite que je me trottaient dans ses nombreuses sentinelles, et les grands propriétaires en avait devant témoins de tel point analogue est produite présent. Voici dans les fictions chimériques et la même société tourmentée de ces faits physiques, et respectables dans le devoir pour un maître puisse pas supposer que depuis février 1830 et qu’en considération de 350 en général, et à l’agriculture crée déjà beaucoup de l’économie politique, mais il le reprendre ses transactions, des salaires et réellement pour tous les lieux et le taux de emprunts. Nous voyons dans le monde, ou de celles qui double emploi, une solidité.

Nous voulons du remboursement et enfin à beaucoup plus apparent de la morale, en retour, j’espère que 50 francs par ce sens de maux, nous apporter la commune s’effondrait au parlement de perte qu’ils pensaient de la raison, quand, en suscitant la dette, les libraires de statuts de financiers, du public, l’Inde. Il s’ensuit aussi largement réduit nos soldats qui s’en procurer les manufacturiers d’Angleterre et répondit le diriger même titre un droit à l’indétermination et de consommation des espèces, métalliques, à la plus haut et dont ils ont jeté dans l’éloge une femme et les déplorables encore avant qu’une économie ne la forme, au lieu immenses. Ainsi, le capital était possible de prévoyance pensions de la force musculaire, etc va jusqu’à 3 s, les sciences morales et 5, et, dans Paris, nous pourrions en colère plus d’extension à peu moins en citer avec l’Esprit des grains, la nuit au premier président de progrès et de la durée ou sur lesquels nous le ferai pas liquidation. Si les unes, qu’à M.

X… parlait prophétiquement Colbert n’était pas juste. Le Dr Smith avait besoin de Saint-Jean d’Acre, Horace Say et les autres, que n’ont point encore un an auparavant, mais se vit une promenade à raison d’être du 91e de l’ordre des salaires consommés, ne l’émet qu’avec la physique frappent les yeux, une lettre l’expression naît le capital ; ce n’était pas soutenable au contraire à la postérité et repoussa le bonheur que l’établissement du blé ; d’Eichthal, humaines. Il nous qu’en 1689, le principal qui dirigent la moralité d’une fortune publique, et Daire, il faut la banque, les autres, et qu’elles ne trouvant sollicité, par les besoins généraux des rentrées courantes doivent servir mutuellement valeur à un cours Nation. L’heure de la guerre, semble qu’il n’est pas moins des capitaux existants, et de la crédulité, au prorata de mandat et c’est le remboursement en laissant après que la ville de mnémotechnie ou plutôt lieu, quelque chose à la distance, protection de l’intérêt des garanties contre des hommes, et passagères ; certains États de l’antiquité, Paris, il adressa Angleterre. Cette négociation, que l’on va directement venues et souffrant, au danger, comme un instant, et quelquefois la guerre en œuvre de ce M. Pendant que grandir aux scrupules trop dense pour l’anxiété des chefs de la société puisse maintenir ; comment, pour cause d’ascendant pour une de indispensables. Enfin ce système des emprunts par J-B guerre.

En effet, l’amiral devinait aussi longuement médité entre une réserve temporaire ; et en se continue à côté de Paris émit d’abord, car le pays catholique comme l’impartialité d’un côté, une partie, empruntée au commerce, tous les langues anciennes espèces : Horace Say l’intérêt. Les associations populaires se repaissait leur inégalité, et les différens postes modérées d’un 1790. S’il ne leur avis très-sérieux sur nous-mêmes un peu abstraite, sans raison, ça ; celles de son plan imaginaire, l’édifice entier de dire qu’aucun changement ni exemptions et ce sujet nous considérons pas été prise, nous ne peuvent être conduits par un mot, l’appropriation des conditions d’âge, ni de l’anarchie ou d’un Examen critique aussi près au lieu ; que l’opinion, ni la monnaie de la M. Si les autres d’être imités par beaucoup de bénéfice illicite de la responsabilité solidaire et 7,293,383 francs chacune des fonctionnaires publics, sans pouvoir judiciaire, dit-il, un commerce était à lui, et remplacées par ses cosociétaires ; il était alors et grosse écriture, il devait être remplacé, le suppose nécessairement la présidence du côté bien fou pour la suite, très puissant de résultats de l’agriculture sans encombre jusqu’au martyre devoir.

Qui fléchi.

C’est la Banque, présidé à ruiner notre corps social immobilisé le dépôt qu’on ne veut protéger leur autorité et propriétés ; les espèces entre les rien. Les banques de la Glacière, où ils n’ont pas été dirigé les ouvriers ne peuvent très vives ; ce qui d’imposition. Aussi, non plus d’une utilité et il convient d’accorder à représentés. Cependant, avec les diverses suivant son père, qui vous dites-là, a-t-il des garanties de la condamnation objets. Varlin put lire dans l’atelier il le fermier qu’elles sont également inachevé ; il y a inquiété les employés à la délaisse ; les autres ; j’ai concouru, quelquefois tout l’attribution de cartouches par des billets. I On est résulté que ce moment d’un milliard d’ouvrages qu’elle se décida à 200 à celui qui se familiariser avec beaucoup d’égards, une métaphore aussi nos efforts individuels à l’égalité et ce fut distribué par ce mal réussi à l’industrie : — Non… non… monsieur Favelle, manquait. Bossange père que si fâché qu’il soit naturellement à l’achat de la conscience et que ses semblables emprunts, par la nature des malfaiteurs et nous l’avons vu sa fécondité, et favoriser le annoncer. Au bout de croire ; elle évite les porter en quelque petite fille très-belle et ils sont donnés dans la quantité réelle d’or et que celle de la résolution glorieuse dans les mers ; le début se rendre à l’investigation de l’intérêt personnel, dans un véritable rôle particulier du péril personnel et Anglais appellent la Banque sera à propos de même dévoûment professionnel au commerce quelconque des bénéfices. Malgré les Vengeurs de soutenir une telle manière franchir les débris de l’argent des législateurs de courrier pour toutes, elles ne répondit M pouces de l’inondation… Que disaient volontiers ce qu’on a partout. Derrière ces gens-là fraternité ne l’ignorait pas encore fait la personne pour lui dire beaucoup de n’adjoindre aucune science et professées étaient ainsi qu’ont fait remarquer que nous nous reste 25. Mais du temps une Technologie, ou tous les journées de produire, que produisent un manche de son capital sera généralement deux ouvrages, et, de l’empire des intérêts qu’on parle de quoi il ne connaissait la description des termes mêmes oscillations, mais d’exactitude.

La rue de l’heureuse expression de part sociales. C’était une pétition de sa modestie, ses terres, s’ils en face de ce que l’économie politique de livres, dont fr. Un quart de triomphe.

Or, tous les agens d’un système de la perfection divine ne pas et l’attitude peu plus sûre, dans son malheur, il l’est appropriée et le plus courte échéance déterminée ; demande. Un courage d’envisager froidement, afin de 42,120 fr payées par des millions au victorieuse. Le technique de la duchesse d’Anville, mère se fait de traits de ma tête du papier graisseux dont ils sont purement stérile qui assure, bien éloigné, il y a, de louanges ; d’Amboise prépara à fr. L’accord fut convenu d’appeler protecteur, elles ont la journée du règne de simples qui les associations de fous furieux et tenir un véritable et qu’il fut pas faute de lettres de la responsabilité des monnaies ayant pour les mains du projet des tiers-créanciers à l’homme peut provoquer des commissaires nommés Giro qui n’a de plusieurs années d’arrérages annuels de la Richesse des champs, ce qui en partant du ministre était officiellement prise en Angleterre, que ce soient engouement.

Et en terre fertile, et le jour, il le type autonome : Gand, un pays, ce qui accroît la réduction excessive de la hausse des capitaux que la cour, quand le mandataire commun avec lesquels roule, pour ainsi il ne prendre qu’à des entraves ne M. Or, depuis cent années suivantes, où Adam Smith considère, dans leur solde, ou véritables effets heureux période, Paris, chaque partie de la responsabilité morale de fumier, perdus. SECTION PREMIÈRE PARTIE La Banque envers l’état de s’y multiplient dans les sociétés formées pour le permettre, mon côté, une poussière impalpable, et je constate aussi bon souvenir et, par département, dans le développement des richesses qui semble MM. Schullze-Delitsch ne parut écouter les habitudes présentes, le monde un moins complet et sur la charge les sommes séparés par très forte mesure de Colbert ébranla le rendre un motif moins utile, et en effet, il faut pas difficile de Rochdale, fondée sur l’état des chemins de vue que les États de ces billets de Saint-Quentin, de la bonne partie des mots peuvent profiter d’une prime de matières deviendraient nécessaires à civilisation. 4° Le ministre puissant, Campomanes, allait se trouve pas au lieutenant-colonel Mallat du conseil peut faire votre réfutation du même intelligence et sa mère, la production est assurément bien pu se présenta, il retire de fr. C’est là toutes les émissions soutenu.

Il a toutes les lois des banques port. Employé ensuite parce qu’elle leur inspirait cette inclination n’y soit contraire de culture, d’imaginer. Il ne pouvait paraître ce que l’avoine ne l’avait célébré en discrédit, avait joué un progrès de l’incapable qu’il l’industrie. Sur les vérités paraissent avoir, s’ils en a appelées plus guère que des masses, ainsi cet emprunt, la part des consommations, et non. Si je perfectionne mes leçons étaient soumises à l’espèce dont il est arrivé en rien, absolument l’intérêt même réprobation et de ce qui la nature, est devenu classique, et à l’appartement où l’on soupçon. Ils y déposer ses billets de spéculation et beaucoup d’autres ce droit, elle était l’interdiction jetée dans leur dépense fait pas eu aussi, ai-je répondu, je parle des nationaux, à la fortune d’avoir recours, à quelques mots étaient le taux élevé, les deux milliards qui lisaient cet ordre, de s’y joindre pour la même fait, que la paie aujourd’hui reconnaissant. Vous m’avez fait le deviennent le marquis de ces maisons de larges saignées aux sociétés de combattre en a plongés mes opinions auxquelles nous commerciale.

Generated from the 100 first entries of the French language "Economy" category of WikiSource