About ASKS netnews archive format

Ancient fj NetNews archive で公開している記事の形式についての解説です。

由来

header 部のX-originally-archived-at:フィールドが

X-originally-archived-at: http://news.asks.gr.jp/...

で始まっている記事は、 新情報処理開発機構(RWCP)の ASKS（連想単語空間）検索システムがWebで公開していたネットニュース記事を テキストデータとして再構成したものです。

ASKSからの記事データの取り出しは、2001年8月11日頃に行われました。

不正確性

再構成した記事は、残念ながら原本を正確には反映していません。 当時ASKSで公開されていた記事には、 netnewsで流通した原本に対して不可逆な変更が施されていたからです。 判明している変更点は以下の通りです。

• body 部の1行目は必ず削除されている。
• 行の先頭に tab や space があると、継続行であるかのように直前の行と結合されている。
• 上記2点の理由により、Lines: フィールドの値は body 部の内容と矛盾している。
• MIME encode された Subject: フィールドが decode されている。
• References: のように複数行に渡っているフィールドは、2行目以降が削除される。
• 漢字コードがEUC-JPに変換されている。 この変換が脆弱で、Shift_JISが混入していたり、わずかな不規則なコードで混乱を起こしたりしている。 再構成の際にはできるだけISO-2022-JPに戻したが、元に戻らなかったものもある。 このような記事には、X-reformat-error: フィールドを追加して区別しておいた。
• head 部の行末が文字>である場合、さらにこれの後ろに空白が追加されている。 元から空白が入っていた場合と区別はつけられない。

body 部の1行目が削除された理由ですが、 多くの場合は挨拶や前置きが置かれているので、 検索の邪魔になるだけと考えられたのかもしれません。 行の結合が行われたため、 記事に含まれるコードは段下げが狂ってしまっています。 Subject: 行に日本語が含まれている場合、生の JIS コードにしてあります。

再構成する前の生のASKS記事データ(HTML)も配布しています。 ご希望の方は渡邊克宏までご連絡ください。

渡邊克宏