2018年7月26日木曜日

アドセンス、amazonアフェリエイト審査などへの準備。NGワードへの気遣い

アフェリエイトのNGワードを探す。できるだけ多くの人に誤解のない表現を心がける。Linux的な作法で解決する。

3行コマンドを切り貼りするだけで、チェック箇所がわかります。

アドセンス、amazonアフェリエイトなどに限らず審査はよくわからないですが、意識していないくても機械的なのかなんなのかはわかりませんが、審査に通らない要因と予測できる場合、うっかり一部の人が不快に思う表現がはいっているかもしれません(ここでは議論しても仕方ないという前提で進めます)。「機械のスイッチをKILL」する、PSで探してプロセスをKILLなどのUNIXの手順を全面的に日本語で実直に書いてしまった場合。確証はありませんが、サツバツとしすぎて、NGになるかもしれません。大工さんなどでも、「はめ..し」など。

以下は、Linuxは当然そのまま使えますし、MAC OS Xの方も大丈夫かと思います。不足しているコマンドがもしあれば導入すればよいです。Windows10の方は、WSLを導入するのが最近の流行りかもしれません。WSLとはマイクロソフト提供のWindows 10のLinux互換環境です。もっとも情報が多いので、初心者の方は具体的にはubuntuを選べばよいと思います。

検索しながらだとこの作業はなかなか時間がかかりますので、さくっとダウンロードしてどうするか検討しましょう。手順はおおまかに次の通りです。

●ローカルにブログのミラーを作る。
●ローカルで検索して、対象記事を見つける。
●ネット上のブログツールで修正する。

とすると捗ります。WEBだけでやっていると時間が大変です。ローカルの検索が確実なのです。Googleまかせではいまいちで、Bloggerで全部ヒットしませんでした(?!)。そこで考えたのです。100ページを手動(マウス)で検査しますとどんなに高速なCPU,ネットワークでも2時間はかかります。実際3時間は必要だと思いますが。さすがにあほらしくなってきたので。短時間で処理できるようにしてみました。例を示します。

以下blogspot.com 例を示します。$の緑文字行がコマンドです。
対象ブログ100ページ位をダウンロードするとする。作業ディレクトリを作り、そこに移動し、一括取得コマンドwget を発行。しばらく待ちます。

作業ディレクトリを作成し、そこに移動し、ミラーを作成するコマンドwgetで一括取得
$ mkdir blogcheck && blogcheck
$ wget  https://poorダミーpoor.blogspot.com/ -r -p ./
... しばらくすると全部ダウンロードし終わる。 
そのままのディレクトリで。perlコマンドなどで探します。

ワードを探してみる。
「群青のさつ意」をNGワードと仮定します。あくまで例です。さつは漢字。
$ perl -lnE '/群青のさつ意/ and say "L $.\t$&\t$ARGV"' **/*
L 386275 群青のさつ意 poorダミーpoor.blogspot.com/grep-perl.html

などと次の順番で表示される。

L行番号      ヒットした文字           URL(正確には一部です)



このURLをchromeブラウザに貼り付け、ブログHTMLエディターなどで修正します。chromeがうまいことやってくれます。chromeブラウザでCTRL+Fで検索して個数を確認しつつ作業しましょう。


群青のさつ意 のところに、タヒ などと書き換えていくと、配慮したほうがよい箇所が見つかるかもしれませんよ。

たとえば「この暑さ、軽くタヒねますね」 などという気にもしていない表現が見つかるかもしれません。

本稿の意図は、察してください。悪夢のような...狩りではございません。

grep -R '群青' **/* に慣れていればこれでも。Perlで処理すると発展的にいろいろできるので、Perlの例をよい見本として提示しています。 

おまけ::正規表現でまとめて:: 「夢 順調 可能性 藍」をまとめて検索する。


$ perl -lnE '/夢|順調|可能性|藍/ and say "L $.\t$&\t$ARGV"' **/*


2018年7月22日日曜日

Python のスクリプトをPerlで修正する。Python2をPython3対応にするプチ事例

PythonソースコードをPerlでさくっと修正してみる

新規にターミナル(端末)。CTRL+ALT+T

2to3 という、 「Python 2.x のソースコードを読み込み、一連の 変換プログラム を適用して Python 3.x のコードに変換するプログラム」がありますので、本来の目的用ではなく、Perlのワンライナー活用例として示しています。


元のファイル、python000.py (Python2用 3行ファイル)

# coding: utf-8
print "パイソン世界2から3への代表的な例::2to3が用意されている\n覚えておくといいかも。"

exit()

実行

$ python2 python000.py
パイソン世界2から3への代表的な例::2to3が用意されている
覚えておくといいかも。

Python3で実行しようとすると怒られる。
$ python3 python000.py
                                          ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print

なるほど、printの扱いが変わったのですね。これを修正します。修正の仕方も教えてくれる親切Pythonです。

$ perl -wlpe 's/\b(print)\b.*\"(.*)\"/$1 ("$2")/;s/\# coding: utf-8//' ./python000.py

1) プリント行を()で囲む仕様変更。
2) # coding: utf-8 は不要なので削除する。

まとめて実行、1ライナーで修正して保存、そのまま実行
$ perl -wlpe 's/\b(print)\b.*\"(.*)\"/$1 ("$2")/;s/\# coding: utf-8//' ./python000.py | tee python003.py && echo "終 実行"; python3 python003.py
print ("パイソン世界2から3への代表的な例::2to3が用意されている\n覚えておくといいかも。")
exit()
終 実行
パイソン世界2から3への代表的な例::2to3が用意されている
覚えておくといいかも。

$ python3 python003.py

としても当然同じなので、これでOK。

まとめ::結局bash上の使い方事例なのです

perl -wlpe 's/\b(print)\b.*\"(.*)\"/$1 ("$2")/;s/\# coding: utf-8//' ./python000.py |\
 tee python003.py \ 
 && echo "終 実行";\
 python3 python003.py
パイプ、接続をばらして説明すると
1行目、PerlでPrintする内容を正規表現でキャプチャしておいて、Python3仕様に変換。不要なUTF-8行を削除
2行目、Tee で結果(Python3で動く内容)を出力しつつ新たなファイル(python003.py)に保存する
3行目、作業が終わった目印を出力して(冗長:なくてもよい)
4行目で、Python3で新規に生成されたスクリプトファイル(python003.py)を引数として実行して、動作することを確認する。
こういう流れですね。teeはなくてもこまらないけれど、ないとめんどくさいコマンドかなと思います。地味に便利な子です。



2018年7月17日火曜日

perl で行番号 cat

テキストファイルに行番号を付ける

新規にターミナル(端末)。CTRL+ALT+T

行番号をつけてファイルを出力
perl -lne 'print "$. :: $_"' テキストfile


解説::

次をターミナルで実行してみるとよくわかります。

sed --help | perl -lne 'print "$. :: $_"' 

伝統的UNIXでは、

nl 
cat -n

で同様のことはできますが、Perlのように自由にフォーマットを指定できる柔軟さはありません。当職はPerlしか利用しなくなりました。


コラム::Perlの特殊変数

$. は行番号
$_ はループで読み込まれる、この場合、行のことです。

デフォルトでは改行単位の行ごとに処理するのがPerlです。ここでは触れませんが複数行単位でも、全体をひとつのファイルとしてでも、容易に処理できる柔軟さがPerlにはあります。

ちなみにPerl6では今現在 $.に相当する特殊変数がありませんので、カンタンには書けません。

Perlで文字列置換 sed

テキストファイルの文字列を置換する

新規にターミナル(端末)。CTRL+ALT+T

最も単純な置換処理
perl -lpe 's/対象文字/置換後文字/g' テキストfile


解説::
最期の/gでグローバルに全部置換。gがなければ最初に見つかったひとつのみ置換。

オプション::
l 自動chomp。改行を除去するなど行処理をいいかんじにしてくれる。
p ループ構造で実行してくれる。この場合Whileループがたった1文字で実現。
e 以下を計算式、命令として実行。この例は置換ですがそれ以外も使えます。
E にすると、sayなどが使えますので、Eで覚えたほうがいまどきいいかも。 
Perlがワンライナーでいいかんじに処理してくれる好例です。gは常に付ける癖にしておいて、不要な時のみ外すようにしたほうが捗ると思います。

複数置換は、置換命令を連続して重ねていけばだいじょうぶ
perl -lpe 's/対象文字/置換後文字/g;s/対象文字/置換後文字/g;s/対象文字/置換後文字/g' テキストfile

Perlの置換の書式は、sedと同じです。sed/viに倣って設計されているからです。

大量の置換処理が必要な場合は、sed同様ワンライナーよりもスクリプトファイルをテキストエディターで作成して実行するほうが得策です。

Perlの使い始めのうちは、こうしたものはパターンとしておぼえてしまうと楽かと思います。

最大のメリットはPerlを使うことでPerlの正規表現だけ覚えればOKということです。sedであれば微妙に動作が違うわけだし、OS問わず同じですから。めんどうを回避できます。

sedを超えるPerlのsed風味な機能は別稿にします。

おまけ:: Perl6 で正規表現テスト
ls | perl6 -pe 's:g/^.*?\.(.*)$/$0/ ;'

ファイルがいくつかあるディレクトリで実行してみるとよいです。ファイル名は置換されません。画面の結果だけですのでご安心を。

カレントにあるファイルのファイル頭からドットまでを削除して表示。ドットがなければそのフィアルをそのまま表示。

Perl5との違いは、キャプチャかっこの番号が0からになっている点。この場合のgは不要ですが、前に来ます。:が必要です。など。複雑になっていくとPerl5のようにはいきません。デリミタの自由度はとても高いです。


2018年7月1日日曜日

perlrange::指定範囲を抜き出すコマンド | シェル変数を受け取る::bash関数

Perlで範囲を抜き出す。特定範囲のみ加工する。

日本語ドキュメントの取り扱いが主ですが、用語と用語、行番号と用語などで範囲を想定し、Perlに備わっている機能を使ってテキストファイルから行を抜き出すのに、こんな風に使っています。

sオプションでシェル変数を受け取ります。関数やスクリプトにする場合に覚えておくと便利です。この関数は、Zsh/Bash共通でいけると思います。

新規にターミナル(端末)。CTRL+ALT+T
#
使い方
perlrange 範囲始まりに含まれる行の単語  同じく終わりの行の単語

.bashrc などにぺったんする。

function perlrange () {
        # s オプションでシェル変数受け取れる。qw注意。
        # if [ $# -ge 1 ]; then
        if [ $# -eq 2 ]; then
                perl -nse "print if /$1/ .. /$2/"
           

        else
            echo 説明....

            echo 範囲A-Bを入力。Bが存在しなければ最後まで。
        fi
     }



余談

perl -ne 'print if 10 .. 12'
10行目から12行めから抜き出す。正規表現にしなければ$_行番号になります。

perl -ne 'print if 10 .. /マンゴージュース/'
10行目からマンゴージュースまで抜き出す。正規表現と行番号も組み合わせできます。
 
cd ~ 
ls | sort -r | perlrange Pic Desktop
なんて2行タイプするとイメージがつかめていいかもしれません。
  

2018年6月30日土曜日

FreeOffice 2018 for Linux の導入とアンインストール

新進気鋭なのか?! Linuxにも対応したFreeOffice、MSOっぽいのが最大の売り。

FreeOffice は起動したらもう日本語。どっかのオフィスに似ているような。

公式サイトからダウンロード::メアド登録が必要、メアドにレジストコードが届きます。 
http://www.freeoffice.com/ja/download
重要:ソフトウェアをインストールする前に、一般的なすべてのLinuxディストリビューション向けのインストール手順をお読みください。http://www.freeoffice.com/ja/support/tips-and-tricks

新規端末 CTRL+ALT+T

ubuntu

FreeOffice は、debをダウンロードしてクリック。パッケージマネージャーでインストール。GUIで完結するはずです。
または、debのある場所で、

$ sudo dpkg -i softmaker-freeoffice-日付_amd64.deb

あとはおまかせ。

archLinux系 実際は、manjaroで試しました。

展開したディレクトリで以下のコマンドを発行

$ ./installfreeoffice 

実際のmanjaroLinuxでのFreeOffice をインストール、アイコンテーマをいっぱいいれているとその分時間がかかります。アイコンをそれぞれのテーマに登録しているもよう、…メッセージがでています。多くアイコンテーマを導入している方はお茶でも淹れて飲んでたほうがいいです。

$ ./installfreeoffice ※放置/デフォルトでだいじょうぶ。

The applications will be installed to 

/home/ish/freeoffice2018 デフォルトインストール先

The launch scripts will be installed to 

/home/ish/bin デフォルト起動スクリプトインストール先

Installing for the current user only. デフォルト、カレントユーザーのみに導入されます。

以下おまかせで放置

Unarchiving /home/ish/Downloads/softmaker-freeoffice-931-amd64/freeoffice2018.tar.lzma
Using existing xdg-utils
Create MIME
Adding document icons. This may take a few minutes...

略::アイコンテーマ群にアイコン登録しています。

SoftMaker FreeOffice 2018 has been successfully installed.

You can find all SoftMaker FreeOffice 2018 applications in the Office menu group. メニューのオフィスカテゴリーに自動登録されています。関連付けも変わっていますので、適当なオフィスフォーマットをクリックしてみるといいでしょう。

If you want to uninstall SoftMaker FreeOffice 2018 at a later time,
just run the command: 

/home/ish/bin/uninstall_smfreeoffice2018
FreeOffice のアンインストール コマンドはこれです!!
Press Return to exit.


初回起動時にレジストコード入力が必要です。メールボックスをみて、コピペ。
ペタンでOKです。

HW支援しつつ、ffmpegで動画/画面キャプチャーをしてみましょう。x11grab

FFmpeg 画面を録画しよう。動画と音声キャプチャー

それなりに研究して以下に落ち着きました。
HWアクセラレーションはVDPAU。画面サイズはFHD。4Kの1/4です。
音声はパルス取り込み。

新規端末 CTRL+ALT+T

次の1行でいいです。
ffmpeg -hwaccel vdpau -probesize 128M -vsync passthrough -y -f x11grab -video_size 1920x1080 -i :0.0+0,0 -c:v h264 -f pulse -ac 2 -i default SCREEN_日付時刻.mkv 

ffmpeg4.0(アーリー)対応版、音声デフォルトパルス取り込み版 

左上1/4エリアにかかったモノは全部録画されます。 

デジタルだけど、意味合い的にはアナログ録画みたいなもんです。 
劣化しちゃってますね。 

それにしても、たかだかこのFHD程度でも処理速度に不満が残る。 
GPUを速くするしかないのかなぁです。 

とりあえず、オプション研究してみて安定化、警告なし動作ができた。 

もしかすると、録画しながら、それをリアルタイム再生しつつ、それを同時に録画 
ってできるかな。鏡の2枚合わせみたいな。悪魔がでてくるのでやめとこう。
#
これでいろんなエラーもでないで、キャプチャーできるはずです。Ryzen7だけど、ちょっと処理速度に不満あり。自分的にはなかなかよいかんじに仕上がったので、スクリプトに仕込みました。

よりよい改訂やご助言があれば教えてください。