Set up DOCUMENTATION

Minor updates to comments

- Update makefileinfo to match README regarding Posix requirements.

- Remove verbose CC0 marking, as the SPDX tags have equivalent effect.

Improve <书社:apply-attributes>, @书社:archived-as

- `<书社:apply-attributes>` should not prevent H·T·M·L from wrapping.
  Note that the H·T·M·L wrapper is still not
  `<书社:apply-attributes>`‐aware; it will _not_ seek into the wrapped
  contents to search for attributes to pull upwards to the root
  element. This could probably be improved.

- `@书社:archived-as` can now be applied to `<书社:link>` and will be
  passed down to any embedded contents.

- `@书社:archived-as` will not be deleted during attribute application
  onto the root element; it now ensures there is a nonroot, nonarchive
  ancestor. This is required because archive children are processed
  into a separate document prior to application.

  An alternative approach might be to wrap archive children in a
  `<书社:archive>` element before application and then strip it after,
  but this is a fair bit of added work for little benefit. It’s a fair
  question whether removing invalid `@书社:*` attributes like this is
  even a good practice—invalid `<书社:link>` elements are maintained,
  in contrast.

Improve dependency tracking

- Add a `.metadata-format-changed-since` file which is a dependency for
  metadata generation. The hope is that this file will change when·ever
  the metadata format does, forcing a rebuild of stale metadata.

- Add `PARSERLIBS` and `TRANSFORMLIBS` (and `EXTRA⸺` variants) to
  enable rebuilds on changes to files that parsers or transforms depend
  on.

Add H·T·M·L microdata to archive children

These attributes (`@itemscope` and `@itemtype`) are normally added at
the beginning of expansion to the root node of the document, prior to
it being wrapped. With archives, they should be added to archive
children as part of the processing which happens during application,
just prior to the wrapping which likewise occurs there. Having these
attributes present is important for title microdata processing (which
happens as a part of wrapping) to work correctly.

As part of this work, microdata handling is improved slightly in all
cases.

Note: If the `@itemscope` or `@itemtype` attributes were already
present on the children of the archive element, for example because
the child was the result of an embed, they will not necessicarily be
adjusted. It’s necessary to remove any embed typing during normal
processing if document typing is desired during the application phase.

Fix transform from sometimes expanding twice

The default behaviour for processing expanded replacements of
`<书社:link>` elements was to expand them again, which was wrong,
beccause they have already been expanded once. They should just be
copied instead.

This line was probably copied from the default behaviour for
`<书社:link>` elements which are not expanded or replaced, where it is
the correct behaviour.

Provide source file in metadata to transforms

While I’ve generally resisted doing this, since tranforms _should_
generally always be looking at the parsed form of the file and not the
original, having access to this property is necessary in some cases to
enable embedding the original source file within the tranformation
result (e·g, when the source file is X·M·L, and there are parsers which
preprocess it). When the source file is _not_ X·M·L, this property is
probably use·less, but included never·the·less.

Fix/improve recursive dependency detection

The old method of detecting recursive dependencies was overcomplicated
and only worked in the simple case of A → B → C → A and not
A → B → C → B. This new method works as follows:

- Given a dependency path…

  - Get all of the links in the last document in the path.

  - If there are no links, return the path.

  - If there are links which point to a file in the path, it is a
    recursive dependency. Return the path ending at the point of
    recursion.

  - Otherwise (there are nonrecursive links), process each path which
    results from appending each link to the end of the current path and
    return all of them.

The algorithm ends with a set of paths to leaf nodes in the dependency
tree, and each nonroot node in this tree (leaf or branch) is a
dependency. This is what the behaviour should have been from the
beginning. (The old method attempted to process the tree in layers,
rather than as a set of paths.)

Allow including entire directories

This commit enables `@xlink:href`s pointing to entire directories
(ending in `/`) in `<书社:link>`s as an alias for providing a link to
each file in the directory individually. This was always planned, but
apparently never actually implemented before now.

Do asset transforms during application

It’s reasonable to expect ordinary transforms to create new
`<html:style>` and `<html:object>` elements, and these should be
handled as well.

Disallow @xlink:actuate values other than none

This is for forward‐compatibility; future versions of ⛩📰 书社 will
likely define semantics for other `@xlink:actuate` values.

Provide the location of parsed files in metadata

Rather than hardcoding parsed file lookup into `expandmetadata.xslt`
and `catalog2transform.xslt`, provide a file U·R·I for the parsed file
as a part of its metadata and use that instead. It _is_ reasonable for
transforms to want to access the original parsed documents of
dependencies. Note, however, that there is no guarantee that the parsed
document actually exists if it _isn’t_ a dependency for the file.

Disable make·file prerequisites when not needed

Specifically, the `help` and `clean` targets don’t require any
compilation of types, parsers, dependencies, or destinations. G·N·U
Make provides the `$(MAKECMDGOALS)` to check which targets were set as
goals on the commandline; when the only goals are `help` and `clean`,
excessive computation can be disabled.

“Simplify” the restart mechanism using $?

Instead of having two GNUmakefile rules which are present under
different conditions (and which could hypothetically both apply), just
have one and check to see which prerequisites are out·of·date in order
to adjust the behaviour.

In order to prevent unnecessary builds of metadata and parsed files
prior to a type update, wrap the recipes in a check to see if
`$(BUILDDIR)/.update-types` was created over the course of the build.
This needs to happen in the shell, not in Make, because older versions
of Make cache the `$(wildcard)` function. The implementation of
`$(unlesstypeswillupdate)` uses an `if` function instead of a `and`
because the latter seems to trim white·space.

It is no longer an error if the type of a file cannot be determined;
this is required to enable recipe expansion when types are not yet
generated now that the test is happening in the shell. Instead, files
are given a default type of `application/octet-stream`.

Generate dependencies & destinations with metadata

This commit obviates the need for separate `metadata2dependencies` and
`metadata2destinations` transforms and simply bundles their
functionality into `expandmetadata`.

Making this work right is a bit tricky because we are outputting the
main document to `stdout` but want the other result documents to be
output to `BUILDDIR`. The best solution would be to just read in the
build directory inside of the transform and use it to determine the
output location, but unfortunately `exsl:document` does not support
dynamic computation of the destination directory. The current solution
is instead to `cd` into the build directory in a subshell before
calling `xsltproc`.

Simplify metadata using new 书社vocab terms

This commit also changes the behaviour of `@书社:destination`:
Formerly, the value of this attribute needed to be a percent·encoded;
now, it must _not_ be percent·encoded.

Generate destinations and dependencies as metadata

The format of this is subject to change. It might actually be desirable
to have the dependency and destination files be side·effects of the
metadata file generated alongside it (in the same `xsltproc` call)
rather than needing to generate them separately.

Don’t allow xsltproc to output files

…with the exception of the archive extractor, which is
specially constructed to do so. In all other cases, just output to
standard output and pipe to a file as with other commands, for
consistency and security.

Provide template identifiers as <书社:id>s

This is definitely going to break existing websites, but it’s much more
sensible and straightforward to deal with, in my opinion. Alternatives
included instead providing them as comments or processing instructions,
which would be much harder to process.

Do not wrap results which contain no H·T·M·L

It’s much more likely that a result which is not H·T·M·L is intended to
remain that way; wrapping it in `<html:body>` can be used as a
work·around when H·T·M·L wrapping is desired.

Add nfo:fileName to file metadata

This is useful as `nfo:fileUrl` is percent‐encoded.

Simplify 书社:literally transform output

Use literal result elements and attributes in cases where it is safe to
do so.

Drop apostrophe from ‹ Ladys ›

Remove variation selectors from sigil

The choice of whether to render a character as emoji style or text
style is properly a font and typesetting decision, not a character
encoding one. Altho Unicode provides variation selectors for indicating
a preference in plain text, these selectors should not be given formal
significance. To be clear that the canonical encoding for the sigil is
`<U+26E9,U+1F4F0>`, remove them across the board.

Set locale and timezone and export them

All programs should execute using (U·T·F 8) C strings and all times
should be in U·T·C.

Provide metadata in transform; add attributes there

The metadata actually depends on the parser, so it’s a recursive
dependency to make the parser use it. Instead, just make it available
in transforms and add the various ⛩️📰 书社 attributes during the
expansion phase.

Literally including the metadata R·D·F in the transform greatly
increases its file size, but it “should” be fine.

This commit also brings with it a few other improvements and changes to
transforms :⁠—

- All of the `$书社:*` variables which used to return result tree
    fragments now return node sets.

- The `书社:application` mode has been renamed to `书社:apply`, to
    match `书社:expand`.

Drop CKSUM and SRCTIME params; add as attributes

`@书社:cksum`, `@书社:mtime`, and `@书社:identifier` are now all added
during the parsing phase. (`@书社:identifier` used to be added during
the transformation phase, but badly. `@书社:mtime` is new.)

This hardcodes the location of the metadata file for now; ideally the
metadata would be embedded.

Replace source catalog with metadata file

There are two things which this approach should eventally bring :—

1. Availability of various aspects of file metadata for every file
   during the parsing and transformation phases. Right now, only
   metadata for the file currently being processed is available, and
   while loading the catalog is possible in transforms, it’s probably
   not really advisable and hasn’t been extensively tested.

2. Cacheing of file metadata for files which have not changed since the
   last time Make was run. This comes with the usual Make drawback that
   if a file is changed to be older, rather than newer, it won’t be
   recognized as having been changed.

Neither of these things are really implemented at this point, but the
metadata file is created and being used and the old catalog has been
removed. Future commits should refine the behaviour.

Give magic file symlinks unique names

Rather than deal with the potential for conflicts in the names of magic
files from different sources, give each file a unique name by taking
the `cksum` of its absolute path.

Support multiple SRCDIR in INCLUDEDIR default

If multiple `SRCDIR`s are provided, the default `INCLUDEDIR` needs to
append `/includes` to each, not simply the last one.

Eliminate unnecessary use of cat

Input redirection works just as well here.

Support -exec in find

`-print` is only implicitly added to `find` rules which do not contain
an `-exec`. The desired behaviour is that `-print` is called
regardless, with the assumption that `-exec` commands are always
silent.

Actually use FINDINCLUDERULES

Commit d94cfdc987aba3983f4945d59b02cbb062573432 added this variable and
documented it, but strangely it was never actually used in the
appropriate place; `FINDRULES` was used instead for both ordinary
sources and includes.

Fix generator metadata

Formerly, existing generator metadata was preserved and also duplicated
in the tag added by ⛩📰 书社. It only makes sense to do one or the
other.

Don’t recognize title metadata in templates

Per H·T·M·L, the elements in templates are _not_ children, and these
semantics should be respected for microdata.

Allow overriding of finalization program

Use --nonet on xmllint, too

This option was already being supplied for `xsltproc`. Networking
should always be disabled by default; mechanisms for selectively
enabling it may be added later.

Use --noent when calling xmllint

The X·Path expressions do not correctly match text provided within
entities if the entities are not expanded. Adding `--noent` ensures
that all entities are expanded and X·Path works correctly.

Wrap EXTRAFINDRULES in parentheses

It shouldn’t be required that users do this.

Improve SRCDIR/INCLUDEDIR handling; allow dot

- Explicitly allow `find` to match `.`, which otherwise would be
  excluded as a dotfile.

- Add special handling to drop the leading `./` that results from the
  above, and generate the appropriate local paths without needing it.

- Error when trying to perform certain transformations on file·names
  and failing, to better aid diagnosis.

- When a file has no destination (because `destinations` has not been
  generated yet), use the fake destination `NOTDEF`. (Make will restart
  before this destination is used.)

INCLUDEDIR should default to be in SRCDIR

…not the literal value `sources`, regardless of what `SRCDIR` might
be.

Mark GNUmakefile as precious

One would hope that Make wouldn’t ever delete the make·file it is
running, but the documentation doesn’t seem to explicitly give that
guarantee, so it’s good to be explicit about it.

Reformat redirections

- Remove the space after, but not before redirection operators.

- Do `>>/dev/null` instead of `> /dev/null`; appending makes more
  logical sense in this case.

- Use `>|` for other outputs because this make·file should always
  clobber.

Improve documentation regarding Posix utilities

Set .SHELLFLAGS to match Posix behaviour

Early failure upon the failure of a command seems like a good thing??

Move variable overrides before targets in submake

It doesn’t matter, but this is the Posix ordering.

Use exit with a nonzero exit status, not false

Use colon (:), not true

These are equivalent, but `:` is a special shell builtin and `true` is
not.

Allow overriding of cd

Altho `cd` is builtin in most shells, it is not a special builtin
utility as defined by Posix, and the use of an alternative
implementation is conceivable.

Prepend X·M·L declaration on parsed assets

⛩️📰 书社 policy is to never omit it.

FORCE on type updates

When this was originally implemented, I’m not sure `FORCE` was defined,
but it’s needed now for `diffprereqs` so there’s no reason why not to
use it here as well.

Fix typeoffile

The old implementation switched some things around and probably would
not work if called with multiple files (it never was).

Use diff to get better dates

See the comments for more information, including Macintosh quirks. This
is a great deal better than using `ls` and allows for the dropping of
the latter as a dependency.

Redirect messages to stderr & support disabling

This enables `make -s listout` to work as intended without need for
additional processing.

Support +xml suffix for determining X·M·L files

This gets around operating system extensions to `file` which might
identify S·V·G files (for example) as `image/svg+xml` before
attempting magic detection. If not every X·M·L‐based syntax should be
handled as such by ⛩️📰 书社, redefine `XMLTYPES` to exclude the
`+xml`.

Remove support for pagination

Expanded archives support this need better.

Remove stat dependency

This is, strictly speaking, a downgrade in functionality, with the
upside of reducing reliance on non·Posix programs (namely `stat`). A
better, Posix‐compliant solution is to archive an empty file with the
correct modification time and then list out the time from that archive;
however, as far as I’m aware, it’s not possible to obtain an
implementation of the `pax` utility which actually supports this. macOS
only supports a very limited subset of the `listopt` option, and only
for pax archives (not tarballs); other implementations don’t seem to
support it at all.

Force removal of existing directories

…prior to processing results or installing. Mostly, this prevents a
failure when an expanded archive is changed to no longer be expanded.
This also simplifies the installation code a bit.

Fix base64 decoding

The `tr -d` in this pipeline also removed the trailing newline, so it’s
necessary to re·add it prior to the closing equals.

Remove sed range expressions

These are technically only Posix in the Posix locale and have undefined
meaning otherwise. It’s not the policy of ⛩️📰 书社 to require the
Posix locale, so the safest thing is to just not use range expressions
here.

(Actually, this policy might be worth revisiting for things which
definitely need to be operating on Unicode text.)

Explicitly declare ustar format to pax

In Posix, the default format for writing is implementation‐defined, but
⛩️📰 书社 is documented to always produce tarballs.

Use compound commands to join strings, not sed

Previously, the script would sometimes use sed to insert text at the
beginning or end of a string, but it is better to just printf as a
separate step instead.

Remove dependency on echo

`printf` is always preferable to `echo` for portability reasons.

Support “expanded” archives

The intent is for this mechanism, which is much simpler to implement,
to replace the pagination functionality which was recently added.

Fix base64 output

Due to a typo, the `uuencode` trailer of four equals signs was being
appended to base64 outputs.

Improve xargs handling

- Always specify -E '' to disable end‐of‐file handling

- Quote standard input before passing it thru to xargs, and eliminate
  usage of the nonstandard `-0` option

- Get rid of xargs where it isn’t strictly required, to avoid line
  length limits

Add @data-tsv-header to TSV data cells

This produces pretty verbose output, but gzipping should be able to
significantly compress it as the attributes will be repeated verbatim
every row.

Use -u option on date, instead of TZ=

`-u` is a Posix option, so it’s safe to use.

Update documentation regarding (non‐)Posix needs

Support pagination

It’s not clear to me that this is actually a good idea, and this
functionality may be reverted later. It adds a lot of complexity
despite still having significant drawbacks, and the alternative pattern
of just generating archives and later expanding them is a much safer
and more versatile solution.

However, the pattern of e·g needing a paginated feed of all the posts
in one’s blog suggests that something along these lines (backed by this
method or archiving~expanding) *should* be supported by default in
⛩️📰 书社. One alternative might be to add (e·g) a `@书社:expand`
attribute to <书社:archive> elements, tho how exactly this would be
tracked on the resulting archives is unclear, and it would be
restricted to producing folders (with exclusively archive contents)
that could not easily be mixed with other files.

Update readme

⛩️📰 is now tested on newer versions of Make, al·be·it not
particularly extensively.

Add listout target

Useful for post·processing of files which were installed by ⛩️📰 书社.

Note: There will be plenty of other Make output; use the following to
get just the files :—

    make listout | sed '/^⛩️📰 书社 Output:/!d;s/^⛩️📰 书社 Output://'

Don’t use xargs -J

It isn’t portable!

Update documentation to reflect usage on Linux

Make base64 handling Posix

Posix doesn’t allow for a `-r` option on `uudecode` or `uuencode`, but
the headers and footers are easy enough to manually add and remove.

Fix T·S·V parser

A pair of mistakes meant that the final body column was dropped, and
would have been unprocessable if it wasn’t.

Touch important files before making with xsltproc

When there is nothing to output, `xsltproc` does not create files.
However, Make will find itself in an endless restart loop if these
files are never created.

Fix X·M·L 1.1 handling to be portable

A typo meant it was calling `PRINTF` instead of `printf`; amazingly,
the built·in seems to be case‐insensitive on Macintosh so it wasn’t
noticed.

Don’t allow network or DTD loading

This still processes the internal DTD in a nonvalidating way.

Formerly, it would try to fetch the XML catalog DTD every time.

Support GNU stat

`stat` isn’t at all portable; it’s necessary to just try to figure out
which version is being used and then handle each case accordingly.

Don’t use <<<

This isn’t supported in Dash.

Allow injecting raw output in X·M·L serialization

It’s not possible to serialize things like entities using the normal
X·S·L·T processes. With this commit, one can instead use something like
`<书社:raw-output>&amp;my-entity;</书社:raw-output>` inside of
`<书社:serialize-xml>` elements to get this result.

Add support for manually serializing X·M·L

This commit adds a transform for a new `<书社:serialize-xml>` element,
which is useful in conjunction with `<书社:raw-text>` to produce a more
finely‐controlled X·M·L output, or in other X·M·L‐y situations where an
escaped X·M·L value is required. The algorithm used for serialization
attempts to closely match the DOM Parsing and Serialization spec,
including such behaviours as mandating an undeclared `xml:` prefix for
the X·M·L name·space and dropping the prefix from elements whose
name·space matches the default, but it probably isn’t exactly the same
(due in part to the fact that the underlying data structure is an X·M·L
infoset, not a potentially dynamically‐modified Dom). No special
allowances are made for elements in the H·T·M·L name·space; this is not
(yet) a suitable polyglot serializer (or intended to be one).

Make <书社:raw-text> a C·data section element

Disallow archive paths beginning with `/`

This would have resulted in final paths starting with `.//`, which,
while probably mostly harmless, is definitely weird.

Allow creation of tarballs

This is useful when using ⛩️📰 书社 directly as a static site
generator to provide archive downloads (archives are not compressed; it
is assumed that they will be gzipped over the wire). This requires
a recursive call to Make for each archive file, which performs the
following steps :—

- Extracts all of the elements slated for archiving into separate
  files.

- Restarts.

- Processes the resulting extracted files and then archives them.

The extraction step in particular is somewhat convoluted; it requires
dynamically generating a transform which has the appropriate
`<exsl:document>` elements for a given source file, and then applying
that transform in a second call to `xsltproc`.

X·M·L outputs are now passed through an extra call to `xmllint` to
remove any unnecessary namespace attributes instead of just symlinked;
the symlinks weren’t compatible with archiving anyway.

Use @extension-element-prefixes to exclude E·X·S·L

This follows the recommendations on the website and enables the use of
E·X·S·L extension elements in addition to the extension functions.

Don’t “compile” assets, just “build”

This reserves the `build/results/` directory for _just_ the results of
transformations, and delays the copying of asset files into the build
directory until the actual “build” step. (Likewise for recursive files,
altho these still just error).

`make all` now builds all installable files, including assets, which
were formerly excluded. A downstream script might expect assets to
appear in `build/public` after a `make all` and shouldn’t require a
`make install` to get them.

Allow ⛩️📰 书社 to produce plain text

This requires adding _another_ build stage; the result of the
transformation step is output to `build/results`, which is then
processed again to create the `build/public` final result. In most
cases, this additional processing just produces a symlink. However,
when the root element is a special value, a derived file will be
produced.

The only special elements supported right now are `<书社:raw-text>`,
which outputs the raw text contents of the text nodes in the result
tree, and `<书社:base64-binary>`, which produces a binary file from the
base64 text contents determined using the same method.

Make REUSE‐compliant

Improve (fix) the T·S·V parser

Although `exslstr:tokenize()` is fast, it should not be used when
splitting the columns of a T·S·V file, as it will collapse empty
columns. Introduce a new transform in `lib/` for splitting, and import
it into the T·S·V parser.

This transform was largely copied from Caudex
<https://git.ladys.computer/Caudex/blob/0.1.1:/lib/split.xslt> and is
likely to be useful downstream as well.

Continue using `exslstr:tokenize()` for splitting the _rows_ of the
T·S·V, as empty rows _should_ be collapsed.

Improve the implementation of wrapplaintext

- Use `printf` and octal escapes instead of hexadecimal ones, as they
  are more portable.

- Use `xargs` and piping to compose the wrapper and its contents,
  rather than a subcommand.

“Support” X·M·L 1.1

The X·M·L 1.1 “support” amounts to deleting the declaration and
replacing any character escapes for C·0 controls with
`U+0091 PRIVATE USE ONE`, which is a valid character in X·M·L 1.0.
This is done entirely in `sed`, so it’s not perfect, but it should be
“good enough”.

Correct syntax for X·Path booleans

The correct syntax is `true()` and `false()`; `true` and `false` refer
to elements with those names.

Refactor transforms & add 书社:application stage

The main goal of this commit was to add a
`<书社:apply-attributes-to-root>` element, to allow transforms to pass
attributes up to the root element of the result, for example `@lang`
information. This required an extensive refactor of a lot of the
transform infrastructure and the creation of a new transform stage,
`书社:application`, which follows the ordinary transform and solely
handles `<书社:apply-attributes-to-root>` and
`<书社:apply-attributes>`. Other `@书社:*` attributes are removed at
this stage, but it isn’t generally recommended that transforms try to
hook in here.

This commit also makes a number of smaller changes :⁠—

- Use `node()` in place of element wildcards anywhere where
  specifically only matching elements wasn’t intended.

  In particular, even in places where text is not expected, there may
  be comments to preserve.

- Only add `@itemscope` and `@itemtype` attributes to H·T·M·L elements,
  since they are only defined for elements in that namespace.

- Provide `@书社:identifier` on documents and embeds to get the
  `about:shushe` u·r·i of the resource.

- In transforms which generate transforms, `<xsla:text>` elements which
  provide only white·space need `<xslt:text>` children to ensure the
  whitespace isn’t stripped. (Note: In the actual source text, `xsla:`
  is given the `xslt:` prefix and `xslt:` is the default prefix.)
  Similarly, it’s necessary to provide attribute value templates using
  a `<xslt:attribute>` element rather than with the literal result
  element syntax, to prevent them from being prematurely applied.

Replace GENERATOR and VERSION with THISREV

Instead of replacing existing `<html:meta name="generator">`s, format
them into a comma‐separated list with ⛩️📰 书社 as the final entry.
Don’t allow overriding of ⛩️📰 书社 generator metadata.

Manually specifying `THISREV` is still possible to allow it to be
filled by users running Make without Git, but it should not be
overridden with the version of the calling generator, as it is used to
fill `@书社:version`.

Update parser documentation

- Remove class names which are no longer provided from description.

- Document attributes added during parsing.

Don’t add attributes to non·elements in parser

Check to see if it is an element first with `self::*`.

Add @书社:media-type to parsed nodes

Only keep the outermost media type, however (`@书社:parsed-by` records
all parsers).

Track catalog & magic prereqs and diff for changes

If a new prerequisite for a catalog (or the compiled magic file) is
added, and it is newer than the last build, then the catalog (or
compiled magic file) will be rebuilt. However, formerly, the file would
not be rebuilt if the added file was older, or if a prerequisite was
removed instead of added, due to limitations in Make.

This commit tracks the list of prerequisites separately, and if it
changes, forces a rebuild of the file regardless of whether the
prerequisites are newer or older than the target.