get-k8s-info.sh Viyaの情報をまとめて集めるツール

 Viyaの運用を行うのであれば常備しておきたいツールです。テクニカルサポート問合せのときに使います。実行方法はREADMEのCommand-Line Mode Exampleを見てください。デプロイしたときの site.yaml のあるディレクトリを引数で指定します。

リンクが間違っていたので修正

get-k8s-info.sh Script

ハンズで購入した木材で作るパームレスト

 分割型のキーボードに合わせて、パームレストを自作しました。これまでHHKBと専用のパームレストを使っていましたが、ちょっとした事故で肩を壊してから分割型キーボードに切り替えました。

ただの木の板を切断して表面処理をしただけでは面白くない？ので複数の銘木を組み合わせたものを自作してみました。ハンズでチーク、桜やカリンなど5種類の棒材が購入、それをサンドペーパーで表面をキレイにしてから木工ボンドと播金で圧着。水性ニスを重ね塗りと耐水ペーパーで表面を滑らかにしました。普通の一枚板よりも少しだけ洒落ていると思う。裏面はゴム脚つけて高さを出しています。

記録と参考のためにハンズのレシートを載せておきます。これにゴム足、水性ニス、刷毛、サンドペーパー、圧着するための播金があればできます。制作はのんびり作業して3日間ぐらいです。

SAS Viya Monitoring for Kubernetes からログを抽出するカスタムステップ

SAS Viyaでエラーを調査するときにOpenSearchでログを抽出するが、それを簡単に実行するカスタムステップがSAS Communities Libraryに紹介されている。ログの抽出が面倒な理由は複数ある。

• OpenSearchで抽出できるのは10,000件というAPIの上限がある。
• その制限の範囲内で抽出しようとすると手間がかかる。
• フィールドを毎回選ぶのが面倒だ。

それをSAS Studioから範囲を指定して簡単に抽出できるのが、以下のカスタムステップです。get-k8s-info.sh, sas-viya configuration downloadと共に調査のツールとして使い手があります。

Rake is a custom step and macro to extract Viya logs

マクロ変数の名前と値をログに出力する。

 何度も忘れているのでメモします。これでマクロ変数名と値をログに出力できます。DATAステップのPUTと書き方が違うので、ぱっと思い出せない。

%put &=var;

マニュアルで %put のセクションには書かれていない。出典がどこにあるのか探す。
https://go.documentation.sas.com/doc/ja/sasstudiocdc/3.8/pgmsascdc/mcrolref/n189qvy83pmkt6n1bq2mmwtyb4oe.htm

PROC HTTP で HTTPSではなくHTTPを使って通信するときのオプション

 最近はHTTPではなくHTTPSが当たり前に使われているが、内部の通信だとHTTPが使われていることがある。そのときに必要な PROC HTTPのオプションは、sslparms "SSLREQCERT"="ALLOW"; です。

マニュアルからこのSSLREQCERT=ALLOWの意味を引くと、「ALLOWは、クライアントがサーバ証明書を要求することを指定するが、証明書が提供されなかったり、無効な証明書が提供されたりしても、セッションは正常に進行する」です。PROC HTTPのデフォルトは、SSLREQCERT=DEMANDです。意味は「サーバ証明書が要求され、有効な証明書が提供されなければセッションが終了することを指定する」です。システムオプションでも設定できます。

よく curl、sas-viya CLIで --insecure, -k のオプションありますが。これは SSLREQCERT=NEVER と同じです。証明書のチェックはしません。ALLOWの方が証明書あり、無し、どちらでも対応できるので、例としてはALLOWが使われているのが多いと思います（推測）。

PROC HTTPでトークンを取得するサンプル

PROC HTTPでユーザ名とパスワードを指定してアクセストークンを取得するサンプルです。通常はOAUTH_BEARER=SAS_SERVICES を使うことが多いですが、稀にトークン取得したいというニーズがあります。このコードで？な箇所は認証のヘッダーにsas.cli:をエンコードした値を使っているところです。コロンの前がクライアントのツール、コロンの後にパスワードを指定するのが普通ですが、パスワードは空の状態でエンコードしています。このパラメータはSAS Viya CLIからauth loginするときに--verboseで出力されるデバッグの情報を見てそれに倣っています。クライアントのパスワードが空なのは理解できませんが、ログを見るとそうなっています。時間あるときにPostmanでも同じようにパラメータを指定して動くか確かめます。

view plainprint?

1. /* PROC Sample of using HTTP to obtain an access token. */  
2. %let client=sas.cli;  
3. %let cpassword=;  
4. %let username=alex;  
5. %let password=hogehoge;  
6. %let host=%sysget(SAS_SERVICES_URL);  
7. filename resp "/tmp/foo.txt";  
8.   
9. data _null_;  
10.     attrib buf length=$64;  
11.     buf=put("&client.:&cpassword.", $base64x64.);  
12.     put buf=;  
13.     call symputx('code', compress(buf), 'G');  
14. run;  
15.   
16. proc http method="POST" url="&host./SASLogon/oauth/token"   
17.         in="grant_type=password%str(&)username=&username.%str(&)password=&password." out=resp timeout=15;  
18.     headers "authorization"="Basic &code"   
19.         "Content-Type"="application/x-www-form-urlencoded";  
20. run;  
21.   
22. data _null_;  
23.     infile resp truncover;  
24.     input;  
25.     put _INFILE_;  
26. run;  

/* PROC Sample of using HTTP to obtain an access token. */
%let client=sas.cli;
%let cpassword=;
%let username=alex;
%let password=hogehoge;
%let host=%sysget(SAS_SERVICES_URL);
filename resp "/tmp/foo.txt";

data _null_;
	attrib buf length=$64;
	buf=put("&client.:&cpassword.", $base64x64.);
	put buf=;
	call symputx('code', compress(buf), 'G');
run;

proc http method="POST" url="&host./SASLogon/oauth/token" 
		in="grant_type=password%str(&)username=&username.%str(&)password=&password." out=resp timeout=15;
	headers "authorization"="Basic &code" 
		"Content-Type"="application/x-www-form-urlencoded";
run;

data _null_;
	infile resp truncover;
	input;
	put _INFILE_;
run;

SAS StudioからOpenSearchのログを検索するサンプル

Viyaのログの調査の効率を上げるためにSAS Studioからクエリを投入できないか思案しています。できたのが以下のコードです。

view plainprint?

1. /* Sample code to search OpenSearch by PROC HTTP. */  
2. filename myresult temp;  
3.   
4. data _null_;  
5.     attrib code length=$64;  
6.   
7.     /* Change the following user name (admin) and password (hogehoge) to match your environment. */  
8.     code=put("admin:hogehoge", $base64x64.);  
9.     put code=;  
10.     call symputx('code', compress(code), 'G');  
11. run;  
12.   
13. proc http url="https://v4m-search.logging.svc.cluster.local:9200/_search"  
14.         in='{ "query": { "simple_query_string": { "query": "setinit", "fields": [ "message" ], "default_operator": "and" }}}'   
15.         out=myresult  
16.         timeout=30  
17.         /* clear_cache*/;  
18.     sslparms "SSLREQCERT"="allow" SSLCERTLOC="/opt/sas/viya/home/SASSecurityCertificateFramework/tls/certs/ca-bundle.pem";  
19.     headers "content-type"="application/json" "authorization"="Basic &code.";  
20.     debug level=0;  
21. run;  
22.   
23. data _null_;  
24.     infile myresult;  
25.     input;  
26.     put _INFILE_;  
27. run;  

/* Sample code to search OpenSearch by PROC HTTP. */
filename myresult temp;

data _null_;
	attrib code length=$64;

	/* Change the following user name (admin) and password (hogehoge) to match your environment. */
	code=put("admin:hogehoge", $base64x64.);
	put code=;
	call symputx('code', compress(code), 'G');
run;

proc http url="https://v4m-search.logging.svc.cluster.local:9200/_search"
		in='{ "query": { "simple_query_string": { "query": "setinit", "fields": [ "message" ], "default_operator": "and" }}}' 
		out=myresult
		timeout=30
		/* clear_cache*/;
	sslparms "SSLREQCERT"="allow" SSLCERTLOC="/opt/sas/viya/home/SASSecurityCertificateFramework/tls/certs/ca-bundle.pem";
	headers "content-type"="application/json" "authorization"="Basic &code.";
	debug level=0;
run;

data _null_;
	infile myresult;
	input;
	put _INFILE_;
run;

このコードが意味するところは、messageフィールドからsetinitを検索しています。URLのホスト名、ポート番号とPEMのファイルはSAS Compute ServerのPodに接続して探したり、kubectl describe endpointsやservicesで探しました。それらのホスト名とかポート番号は公式なドキュメントには書かれていないので実機検証で調べてたものです。なので内部の実装は知らぬ間に変わる可能性があることに留意してください。

CURLの--insecureに相当するのが、SSLREQCERTのオプションです。それだけだとエラーが出るので、SSLCERTLOCでPEMファイルを指定しています。

私は全く知らなかったのですが、これでPROC HTTPを実行すると接続とCOOKEの情報が保持されるそうです。それをクリアするのがコメントアウトしてある CLEAR_CACHEです。その接続とCOOKIEがあれば、毎回SSLSERTLOCを指定する必要はありません。