Windows SAS9.4のサービス起動/停止のスクリプト using PowerShell

 UNIXだとsas.serversありますがWindowsにはありません。なかなか使い勝手の良いスクリプトが無かったのですが、PowerShellで書かれているサービス起動/停止のスクリプトがありました。このスクリプト、特に設定は無しでGet-ServiceでSASのサービスを探して、起動順序に従って処理してくれます。

Start/Stop all SAS Services in Windows using PowreShell

JSONのファイルをPROC HTTPで読み込む

SASでJSONのファイルを読み込むのは面倒かと思っていましたが、JSONエンジンとAUTOMAPオプションを使うと簡単にデータセットとして中身を見ることが出来ます。とりあえず読み込んでから中味を確認して、あとは用途に合わせて表形式に加工します。この例はViyaのジョブフローのスケジューリングの情報を取ってきます。

/* ジョブスケジューリングのJSONファイルとマップのファイルを定義 */
filename folders temp;
filename jsonmap temp;

/* JSONファイルを取得 */
proc http 
		url="https://henteko.azure.com/jobFlowScheduling/flows" 
		out=flows oauth_bearer=sas_services;
	headers 'Accept'='application/vnd.sas.collection+json';
run;

/* JSONファイルの先頭をログに出力して確認するだけ */
data _null_;
	infile flows;
	length buf $4096;
	input buf 1-4096;
	put _all_;
run;

/* JSONエンジンで読み込ませて、マップは生成 */
libname flows json fileref=folders map=jsonmap automap=replace;

/* 後はライブラリ参照名から要素と中身を見る */
proc print data=flows.items;
run;

自分でマップファイルを作らなくても、JSONエンジン任せで構造を読み解いて参照できるのはすごく楽です。下はJSONファイルを読み込んだ例で、もちろん中身の定義で見え方は異なります。

HHKB キーマップを vi に近づけて設定

去年ぐらいから英語版のキーボードを使っている。

• FILCO Majestouchを10年超使う
• Mistel BAROCCO MD770 で英語版で左右分離を8か月ぐらい
• HHKB Professional 日本語 思った以上にキーが多くて使いこなせず 1週間で諦め
• HHKB Professional Hybridが現在

vi歴は20年以上なので、キーマップを変更してHJKLにカーソルキーを映した。通常は左側にあるWindowsキーを右側にCommandを左側に移している。スラッシュとバックスラッシュの位置はまだ調整の余地あり。本当はX+Commandで1文字削除したかったが、HHKBの仕様で割り当てできない。代わりにD+Commandにしたがこれが思ったよりも使いやすい。左手で2つのキーを同時に押しやすいから。

 

SAS9.4 どこでシステムオプションが設定をされているか調べる

 私が良く使うけど、意外と認識されていないのが PROC OPTIONSのオプションVALUEです。このVALUEオプションを付けると、SASシステムオプションの設定がどこで行われたか判ります。引数、特定のコンフィグファイルが一目瞭然です。

proc option value=encoding value;

run;

SAS9.4 インストール十戒

 SAS9.4のインストール・構成は、手順書が合っても失敗することが多く、改善が必要と感じる。マニュアルには説明あるが、勘所として役立つオプションは埋もれている。ということで、私が独断で選んだベストプラクティスを挙げてみる。

• インストール、構成とHOTFIX適用には必ず応答ファイルを使うこと
• コンソールモードを使い実行のログ、応答ファイルをエビデンスとして保存
• -console と -partialprompt の利用を推奨
• Depotはお客様のDepotとライセンスを使い、サイト番号を合わせる
• 必要なパッケージやカーネルパラメータの確認はスクリプト化する
• 細かすぎる手順はオペミスを誘発するのでスクリプト化を検討
• HOTFIXをどのタイミング、どのツールで取得するか決める
• Planファイル作成ツールでどのようにプランを作ったか記録を残す
• パラメータの根拠となる資料のリンクを事前準備チェックシートに残す
• Planファイル作成ツールで作ったファイルに誤りがある場合がある
• 包括的なシステムの検証を行うならばSAS Environment Managerを使う

それぞれに理由はあるが、ここでは細かく書かない。

ERROR "このスポーナで管理されているプロセスと一致しません"の調べ方

Gridの構成で、良くObject Spawnerのエラーに遭遇します。この原因を突き止めるのはなかなか厄介です。エラーのメッセージと原因がかけ離れていて、なんだかさっぱりわからないからです。 

 ”ERROR [00051223] :sas - 指定された UUID DA1D1904-9BC1-364A-9088-ECC2E1 3877B3 は、このスポーナで管理されているプロセスと一致しません。” 

 で、色々試して、以下のようにWorkspace Serverを起動するとエラーの原因が突き止めやすいです。proc setinit; run; を実行するSASのプログラムをテンポラリに作って、端末から実行します。 ”${Lev1}/SASApp/WorkspaceServer/WorkspaceServer.sh -sysin /tmp/foo.sas -nodms -batch” lsfのジョブ履歴から原因探しても、結局はWorkspace Serverにたどり着くことが多いです。

今日のエラーの原因は、PerfLogsのディレクトリのパーミッション設定が原因でした。良くあるのがオプションの指定の間違い、WORKの割当失敗などです。

SAS 9.4のシステムが遅いときの点検項目

 SAS9.4のシステムが遅いときに、どこから点検していけば素早く問題を解決できるか？思いつくままに、場当たり的に探すのは効率が悪い。また、基盤の問題はSASからは検出できないことが多いため、OS、N/Wも含めた調査が必要である。切り分け、問題を調査するときに役立つ点検ポイントを列挙する。

ホスト名とIPアドレス

ホスト名とIPアドレスは正引き・逆引きできるか？意外と正しい値が得られずに、複数のNIC、経路を辿って遅いケースが多いと感じる。ping, nslookupなどのコマンドを使いサーバ間の名前、名前からIPを引けることを確認する。

エラー・アラートの点検

SAS Environment Managerから点検すれば早い。もしSAS Environment Managerが使えないならば、めぼしいログファイルを片端から目視でチェックする。

N/W経路による違い

サーバ上からのアクセスと、クライアントからのアクセスによる差を見ることで、N/Wの経路の問題かサーバの問題か切り分けできる。N/Wの帯域を故意に絞っている環境だと、いかんともしがたい。

ユーザによる違い

認証のサーバによる違いで遅いケースがある。ローカルのユーザ、LDAPのユーザと比べて差を確かめる。

構築時の基準値と比較

あなたがもし慎重であれば、構築時にログインの時間、空のレポートを表示する時間をとっているはず。そのときの時間と比べて、どれだけ遅くなったかを比較すると、構築時の問題か、構築後の問題か切り分けできる。

システムの負荷

CPU、メモリ、ディスク、N/Wについて、JP1とかTivoliから確認する。

これらの点検で、問題の8割ぐらいは捕捉できると感じる。これらの点検には0.5人日あればできる。

Junitのダウンロード

curlでWebサイト等のファイルをダウンロードする方法。たまにしか使わないので忘れがち、メモしておきます。リモートで働いていると、ローカルのPCを経由していると何かと遅いから

curl -L https://sourceforge.net/projects/junit/files/junit/4.8.1/junit-4.8.1.jar/download > junit-4.8.1.jar

Metadataバックアップのステータスを取得するサンプル

運用ネタです。メタデータバックアップの履歴を参照して、最後のバックアップが成功したかどうかステータスを確認する方法をメモしておきます。xmllintは読みやすく整形するときにしか使っていませんでしたが、特定のタグを抽出するときに便利ですね。たまにしか使わないので指定の仕方を忘れるので、ここにメモします。

echo 'cat /MetadataServerBackupManifest/Backups/Backup[last()]/@*' | \
 xmllint --shell Lev1/SASMeta/MetadataServer/Backups/MetadataServerBackupHistory.xml | \
 grep =

実行すると以下のような結果が得られます。

 Status="Successful"
 StartingUserID="META:Scheduler"
 StartDateTime="2021-02-10T01:00:00+09:00"
 Name="2021-02-10T01_00_00+09_00"
 Directory="Backups/2021-02-10T01_00_00+09_00"
 Comment=""
 Reorg="N"
 Size="539963257"
 LastVerifyDateTime="2021-02-10T18:42:58+09:00"
 LastVerifyStatus="Successful"

タイムスタンプの文字列生成

よく使うけど、すぐに忘れるタイムスタンプの文字列 

%let dt=%sysfunc(putn(%sysfunc(datetime()), E8601DT20.));

2021-01-17T20:35:17

メタデータオブジェクトの検索例

 SAS9でメタデータサーバの情報を探し出して、リストを作ることは稀にあります。たまにしかやらないから、どんな検索式を与えるか忘れてしまいます。備忘としていくつか例を残してい置きます。メタデータのAPIは、情報を1個ずつとると遅いのでできれば検索式で絞り込んで少ない回数で取得した方が良いです。

配置済みのジョブの検索
JFJob?@id contains '.' and @PublicType = 'DeployedJob'

実行キューの名前からジョブフローを検索

omsobj:JFJob?JFjob[@id contains '.' ][Properties/Property[@DefaultValue='normal' and @Name='QUEUE']

トリガーの条件を設定している配置済みフローを検索

omsobj:JFJob?JFjob[@PublicType = 'DeployedFlow'][Steps/SyncStep/TriggeringEvents/Event]]

配置済みジョブフローのオブジェ口IDを指定してかつ、作成者を特定する検索式

omsobj:ResponsibleParty?ResponsibleParty[@Role='Created By'][Objects/JFJob[@id='A5MGMPLF.BZ001J44']]

プロパティの名前からメタデータオブジェクトを検索する例

omsobj:Property?@Name='SCHEDULINGDETAILS'

テーブルの名前をからメタデータオブジェクトを検索する例

PhysicalTable?@id contains '.' and @Name eq 'HMEQ'