PROC HTTP コロナウィルスのデータ

Webページに掲載されているCSVファイルを読み込むサンプルです。PROC HTTPを使って、コロナウィルスのデータCSVを読み込んでいます。 エラー”SSL Error: Invalid subject name”の対応として、オプションを設定していますが、これはProblem Note 64218に情報があります。

filename myfile "/var/tmp/total_cases.csv";
options set=SSL_USE_SNI=1;
options set=SSL_SNI_HOSTNAME="covid.ourworldindata.org";

proc http
 url="https://covid.ourworldindata.org/data/ecdc/total_cases.csv"
 method="GET"
 out=myfile;
run;

proc import out=work.total_cases
 datafile=myfile dbms=csv replace;
 getnames=yes;
 datarow=2;
 guessingrows=200;
run;

NFS vers=3で障害

トラブル対応のメモです。
某システムで、データセットにパスワード掛かって開けないという問合せありました。現地入りして調べると、%includeすらエラーを起こしていることが分かりました。strace
エラーを起こしている箇所を探すと、システムコールのfcntl(2) で、リードロックで失敗しています。

リードロックでということは、ファイル、ファイルの属性がらみということで、マウントしているファイルシステムを調べると、NFSのバージョンがそこだけ3になっていました。他のNFSマウントは4なのに。

手動でサービス止めて、umount, mountを行うとバージョンは4に変わり、無事にデータセットが読めるようになりました。ちなみに環境はAWSで、fstab(5)に書かれている情報では、特にバージョン指定もありませんでした。気まぐれ？？

こういった謎の障害のときに、strace(8)が使えると便利です。DNSサーバーの応答が遅いとか分かったりします。

牛乳パックで作るダイスタワー

ちょいと子供の自由研究ネタで、ダイスタワーを作ることになりました。確率の実験のちょっとした小道具として使うためです。で、ネットで探したものを3つほど試したのですが、もう少し作りやすくしたい。そんなこんなで改良して、作りやすいと思う方法をまとめました。心がけたのは以下の点です。

• 工作しやすい
• ダイスが転がり落ちる傾斜の角度を調整、固定しやすい
• 加工するサイズが分かる
• サイコロが回転しながら落ちる
• ダイスタワーから転がりでる
• ラッピングしやすい

必要なのは１Lの牛乳パックと、工作用のボール紙、カッター、定規、ホチキスです。

牛乳パックは、カッターで正面と背面の一部を切り取ります。

 サイコロが転がり落ちる傾斜の板をボール紙で作ります。両側の1.5cmの部分は、傾斜をホチキスで固定するために必要です。

折り目を軽くカッターでなぞってから曲げます。

切り欠きから傾斜A,Bを差し込んでホチキスで止めます。このとき、傾きを調整しながら止めてください。

難しかったところをメモしておきます。
傾斜や切り欠きのサイズが適当でないと、サイコロがタワーの出口で引っ掛かってしまいます。上の設計だと16㎜のダイスですんなり通ります。あと、傾斜の板はある程度弾力があるボール紙が良いです。試作で光沢紙を傾斜板に使いましたが、サイコロが弾まずストン滑り落ちて、ランダムになっているのか不安でした。

話はサイコロにズレますが、サイコロにドリルで穴開けして中身を確認すると、何個か気泡を含んでいるものがありました。何個かは重心に偏りがあるサイコロがあるわけです。これで実験すれば微妙に、偏った結果がでるかもしれません。でも回数を重ねれば、大数の法則で数字に表れてくるはず。

このダイスタワー、作ってみると、カラカラとサイコロが落ちる音は心地よくて、なんどもサイコロを振ってました。紙工作なんていうのは、何十年ぶりでちょっと新鮮でした。

参考にした”他の作り方”のリンクを載せておきます。先人の知恵に感謝です。
ボードゲームは、いつも turn the tide.　>【3作目】　ダイスタワーを自作しました。　【スタンダード】
http://turnthetide.blog.fc2.com/blog-entry-411.html

石膏粉末工房 > ダウンロード
http://sekkoufunmatsu.web.fc2.com/

彬兄のブロマガ > 牛乳パックで作るダイスタワー

https://ch.nicovideo.jp/akiraani/blomaga/ar696535

複数のファイルをINFILEで読み込むときに、最初の見出しだけを読む

見出しが1行目含まれているファイルを複数読み込むと、見出し行がデータとして入ってきます。これを読み飛ばすサンプルです。探すのに時間が掛かったので、メモしておきます。

INFILE '/sas/data/input/test*.csv'
    LRECL=904
    ENCODING="SHIFT-JIS"
    TERMSTR=CRLF
    MISSOVER
    DSD
    FIRSTOBS=2  /* 2行目から読む */
    EOV=EOV  /* 入力ファイルの切替わりを検出する変数 */
;

input @;   /* 何も読み込まない */
if eov then input; /* 見出しの行を読み捨てる */
eov=0;

定義済みのオプションがないCASライブラリ

SAS Management ConsoleからCASライブラリを定義したが、詳細設定の中に定義済みライブラリのオプションが無かった。これがないと、EGを起動したときに、ライブラリを右クリックして割り当てしないと、データを参照できない。回避策としては、コードタスクで割り当てを仕込んでおけば回避できる。

なんでPre-Assignの定義がないのか不思議だが、いったん放置します。

OSとSASのエンコーディングが違う設定で日本語のディレクトリを作るとどうなるか？

クイズです。
Linux環境において、OSのエンコーディングがUTF-８、SASはSJISの場合、以下のコードを実行すると、作られるディレクトリ名はどのようになるでしょうか？

options dlcreatedir;
libname newdir '/var/tmp/漢字ディレクトリ';

1. OS上のディレクトリ名は、SASと同じSJISになる。 .
2. OS上のディレクトリ名は、OSのロケールと同じUTF8になる。 .
3. OS上のディレクトリ名は、文字化けして正しく表示できない。 .
4. エンコーディングの不一致でエラーが発生する。

正解は、3．でOSと同じロケールでディレクトリが作成されます。これは、SASはOSのロケールと異なる場合には、変換してOSに合わせてディレクトリを作成する動きをします。これは実験の結果でわかったことです。

Windows PCにPython/SWATを導入して、Titanicのサンプルを実行する

仕事でSAS Viya3.4とPython/SWATの導入を行うことになりました。Viyaのインストールは人任せですが、Python/SWATは勉強がてら自分のノートPCに入れてみました。Anaconda、Python/SWATとDLPyをインストール、サンプルのTitanicを動かすところまで試します。

まずは、Anacondaを検索してインストーラをダウンロードします。

インストーラに従って、Anacondaを入れます。途中でmicrosoft VSCodeを入れるか質問されましたが、スキップします。PATHを書き換えるかどうか質問されますが、これは書き換えません。複数バージョン使うために、PATHには入れないという解説がどこかにありまました。

15-20分ほど掛かってインストールできたら、WindowsのスタートメニューからAnacondaが入っていることを確認します。

次に、Python/SWATとDLpyをインストールします。スタートメニューにある、Anacond Promptを起動し、pipコマンドでインストールします。 具体的なコマンドは画面イメージを参照してください。

DLPyも同じようにpipコマンドで、インストールします。 もしwisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed. というようなメッセージでたら、pip install -U PyHamcrest でアップグレードしてください。

次に、サンプルのコードをGibHubから引っ張ってきます。URLは画面イメージを参照してください。右側の緑のボタンでダウンロードして、Desktopに展開します。

Windowsのスタートメニューから Jupyter Notebookを選択します。

Jupyter NotebookのFileタブから、 Desktopに展開したsas-viya-programming-master\python\titanic\TitanicExample.ipynb を開きます。

 Viyaのサーバーに接続する箇所を修正します。具体的な箇所は画面イメージを参照してください。

最初のセル（import numpyの部分）を選択して、再生ボタンをポチポチおすと処理が進んでいきます。