{
  "_index": "logstash-2017.08.03"翻譯社
  "_type": "BIND_DNS"翻譯社
  "_id": "AV2nF6AFU4gS5SfvUHc1",
  "_version": 1,
  "_score": null翻譯社
  "_source": {
    "path": "/var/log/named/query.log",
    "@timestamp": "2017-08-03T00:55:29.005Z",
    "logdate": "03-Aug-2017 00:55:29.005",
    "clientip": "203.75.167.229",
    "query1": "www.google.com",
    "query2": "www.google.com",
    "@version": "1",
    "host": "690ab8796350",
    "dns": "172.31.10.132",
    "message": "03-Aug-2017 00:55:29.005 client 203.75.167.229#54501 (www.google.com): query: www.google.com IN A + (172.31.10.132)"翻譯社
    "type": "BIND_DNS",
    "clientport": "54501",
    "querytype": "A +"
  }
}

• http://www.ultrahook.com/
• UltraHook makes it super easy to connect public webhook endpoints with development environments
• support GitHub, Stripe翻譯社 ActiveCampaign, Papertrail

Usage

• 以串接 Stripe 為例，先註冊獲得一組 API key
• Webhook Namespace 的名稱會成為之後 Stripe 的 Endpoint，e.g. http://stripe.taikobotest123.ultrahook.com/
• 在本機安裝 UltraHook

gem install ultrahook

• 寫入 UltraHook API key 到利用者家目次

echo "api_key: xxxxxx" > ~/.ultrahook

• 啟動 UltraHook 服務

# ultrahook [-k ]  , API key 之前假如有設定可省略
ultrahook stripe http://dev.test.com/webhook

• 如果成功就會最先轉發

Authenticated as taikobotest123
Forwarding activated...
http://stripe.taikobotest123.ultrahook.com -> http://dev.test.com/webhook

• 到 Stripe 後台，API/Webhooks 新增 Endpoint：http://stripe.taikobotest123.ultrahook.com
• Send test webhook 檢查本機程式是不是有接收到訊息

Reference

• UltraHook Frequently Asked Questions

• Google 開發的一種靜態強型別、編譯型、並發型，並具有垃圾收受接管功能的程式說話翻譯為了便利搜索和辨認，有時會將其稱為 Golang（from WIKI）

Installation

• 到官方下載頁獲得目前最新版本，下載並解緊縮

# 2017/11 時最新版本是 1.9.2
wget https://redirector.gvt1.com/edgedl/go/go1.9.2.linux-amd64.tar.gz
# 解緊縮至 /usr/local/go
tar -C /usr/local -xzf go1.9.2.linux-amd64.tar.gz

• 創立 Go 專案程式碼目次，並點竄其權限

# /var/golang
mkdir -p /var/golang
chmod 777 /var/golang -R

• 加入 Go 相關參數（以 zsh 為例）

vi ~/.zshrc

export GOROOT=/usr/local/go
export GOPATH=/var/golang
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

• pilu/fresh

go get github.com/pilu/fresh

Web Framework gin

• gin-gonic/gin

go get github.com/gin-gonic/gin

MySQL driver

• go-sql-driver/mysql

go get -u github.com/go-sql-driver/mysql

ORM

• jinzhu/gorm

go get -u github.com/jinzhu/gorm

.env

• joho/godotenv

go get github.com/joho/godotenv

Reference

1. Golang指南：顶级Golang框架、IDE和工具列表
2. go 语言框架 gin 的中文文档
3. GORM 中文文档
4. golang-web-starter

sudo vi /etc/mongod.conf

net:
  port: 27017
  # 0.0.0.0 對所有 ip 開放
  bindIp: 0.0.0.0

# 從新啟動
sudo service mongod restart

# 進入 mongo
mongo
# 進入 admin DB
use admin
# 建立經管者，回覆 Successfully added user: 表示成功
db.createUser(
    {
        user: "帳號",
        pwd: "密碼",
        roles: [ { role: "root", db: "admin" } ]
    }
)
# 利用治理者權限，答複 1 表示成功
db.auth("帳號", "暗碼");

mongo -u "帳號" -p "暗碼" --authenticationDatabase "admin"

sudo vi /etc/mongod.conf

#security:
security.authorization: enabled

# 從頭啟動
sudo service mongod restart

# PHP 7.0 以上
phpbrew ext install mongodb

# 按照主機利用的 PHP 版本選擇安裝 dev 版本
sudo apt install php-pear php7.1-dev
# 更新 pecl
sudo pecl channel-update pecl.php
# 安裝 mongodb
sudo pecl install mongodb

Build process completed successfully
Installing '/usr/lib/php/20160303/mongodb.so'
install ok: channel://pecl.php.net/mongodb-1.3.0
configuration option "php_ini" is not set to php.ini location
You should add "extension=mongodb.so" to php.ini

sudo vi /etc/php/7.1/apache2/php.ini

sudo vi /etc/php/7.1/cli/php.ini

    ;extension=php_xsl.dll
    extension=mongodb.so

    // mongodb
    'mongodb' => [
        'driver'   => 'mongodb',
        'host'     => env('MONGODB_HOST')翻譯社
        'port'     => env('MONGODB_PORT'),
        'database' => env('MONGODB_DATABASE'),
        'username' => env('MONGODB_USERNAME'),
        'password' => env('MONGODB_PASSWORD')翻譯社
        'options'  => [
            'database' => env('MONGODB_DATABASE'),
        ]
    ],

• Query Builder

// 需要指定連線與調集
$r = DB::connection('mongodb')->collection(MONGODB_COLLECTION_NAME)->get();
dd($r);

• Model
• /project/App/Models/Mongo/Test.php

<?php

    namespace App\Models\Mongo;
     
    use Jenssegers\Mongodb\Eloquent\Model as Eloquent;
     
    class Test extends Eloquent
    {
        /**
         * guarded attributes
         *
         * @var array
         */
        protected $guarded = [];
     
        /**
         * collection name
         *
         * @var string
         */
        // protected $collection = 'tests';
     
        /**
         * connection name
         *
         * @var string
         */
        protected $connection = 'mongodb';
    }

// 跟一般 model 利用沒有不同
$r = $this->model->where('time'翻譯社 '=', '2017-09-14 19:21')->take(3)->get();
dd($r);

Reference

1. MongoDB Docs
2. MongoDB 完全新手教學 -5 對外開放問題[allow remote access]
3. Mongodb 3.2 - 安裝與設定權限

• 加入 js 檔案時，也可以同時設定援用 jQuery 等 lib

add_action('wp_enqueue_scripts'翻譯社 'gtm_scripts');
function gtm_scripts() {
    // product category page
    if (is_product_category()) {
        wp_enqueue_script('product-category', get_stylesheet_directory_uri() . "/js/gtm/product_category.js", array('jquery'));
        return;
    }
}

• 要注意的是引用 jQuery 後因為避免版本衝突，援用的 js 中不能使用「$」要改用「jQuery」

jQuery(function() {
  console.log('GTM product-category page');
  dataLayer.push({'event': 'catpg'});
});

Reference

1. https://codex.wordpress.org/Plugin_API/Action_Reference/wp_enqueue_scripts
2. https://developer.wordpress.org/reference/functions/wp_enqueue_script/

• 網路上常見的安裝方式：
  • Ubuntu 14.04: pptpd翻譯社 openswan, xl2tpd
  • Ubuntu 16.04: ppp, lsof, strongswan翻譯社 xl2tpd
• 二種方式我都試過，然則安裝的程式與設定也良多；不料外的又卡關了。這時候我又想起了 docker，果然網路上又有大大供給整合好的 docker images，測試利用 hwdsl2/docker-ipsec-vpn-server
• docker 相關安裝請參考之前的申明
• AWS 新增 Security groups，開啟 port UDP 1701, UDP 4500, UDP 500
• git clone project

git clone https://github.com/hwdsl2/docker-ipsec-vpn-server.git
cd docker-ipsec-vpn-server

• 複製並調劑情況變數（其他變數請參考 run.sh）

sudo cp vpn.env.example vpn.env
sudo vi ~/docker-ipsec-vpn-server/vpn.env

• ~/docker-ipsec-vpn-server/vpn.env

# IPSec 的公鑰，建議字串長度長一點
VPN_IPSEC_PSK=PASS
 
# 預設利用者名稱
VPN_USER=tester
 
# 預設利用者暗碼（明碼）
VPN_PASSWORD=aaaaaa
 
# 分配 L2TP 私家 IP 網段規模
VPN_L2TP_NET=172.16.0.013
VPN_L2TP_LOCAL=172.16.0.1
VPN_L2TP_POOL=172.16.0.10-172.23.255.250
 
# 分配 XAUTH 私人 IP 網段規模
VPN_XAUTH_NET=172.24.0.013
VPN_XAUTH_POOL=172.24.0.10-172.31.255.250
 
# 指定 DNS 位置
VPN_DNS_SRV1=XXX.XXX.XXX.XXX
VPN_DNS_SRV2=XXX.XXX.XXX.XXX
DNS_SRV1=XXX.XXX.XXX.XXX
DNS_SRV2=XXX.XXX.XXX.XXX

• 網段較量爭論方式可以參考這裡
• volume 利用者設定檔目錄，在 volumes 區塊新增
• ~/docker-ipsec-vpn-server/docker-compose.yml

    - ./users/ppp:/etc/ppp
    - ./users/ipsec.d:/etc/ipsec.d

• 建樹 docker container

# 建議先不要佈景履行，有毛病可以比較容易發現
docker-compose up

• 如果沒有問題，應當會看到下面的畫面；包括 IP、公鑰、預設的使用者帳號與暗碼

Setting

經管使用者

• 修改 L2TP/IPsec 設定檔（明碼），新增利用者 test2

sudo vi ~/docker-ipsec-vpn-server/users/ppp/chap-secrets

• ~/docker-ipsec-vpn-server/users/ppp/chap-secrets

# Secrets for authentication using CHAP
# client  server  secret  IP addresses
"tester" l2tpd "aaaaaa" *
"test2" l2tpd "aaaaaa" *

• 點竄 Cisco IPsec 設定檔（password），新增利用者 test2
• Password

# $1$x2I2244y$mWuO1pmeYNwpdOqow5xbo.
openssl passwd -1 "aaaaaa"

sudo vi ~/docker-ipsec-vpn-server/users/ipsec.d/passwd

• ~/docker-ipsec-vpn-server/users/ipsec.d/passwd

# Secrets for authentication using CHAP
# client  server  secret  IP addresses
tester:$1$x2I2244y$mWuO1pmeYNwpdOqow5xbo.:xauth-psk
test2:$1$x2I2244y$mWuO1pmeYNwpdOqow5xbo.:xauth-psk

• 不需要從新啟動 IPSec，貯存後新帳號便可使用

經管利用者 in container

• 進入 docker container

docker exec -it ipsec-vpn-server env TERM=xterm bash -l

• 安裝編纂器 vim

apt-get update && apt-get -y install vim

• 修改設定檔
• 不需要重新啟動 IPSec，貯存後新帳號便可使用

修改 PSK 設定

• /etc/ipsec.secrets

%any  %any  : PSK "PASS"

點竄 Private IP 設定

• /etc/xl2tpd/xl2tpd.conf

ip range = 172.16.0.10-172.31.255.250
local ip = 172.16.0.1

點竄 DNS 設定

• /etc/ppp/options.xl2tpd

ms-dns XXX.XXX.XXX.XXX # 同一台主機可以設定為 local ip

重啟辦事

sudo ipsec restart
sudo service xl2tpd restart

Other

Windows 10 連線産生毛病

• Q: 假如連線産生毛病，要特別點竄登錄檔，仿佛跟路由器有關係
• A: 以系統經管員身分履行饬令提示字元 cmd，輸入以下指令並執行

REG ADD HKLM\SYSTEM\CurrentControlSet\Services\PolicyAgent /v AssumeUDPEncapsulationContextOnSendRule /t REG_DWORD /d 0x2 /f

沒法使用 VPN 指定 DNS

• Q: Windows 10 VPN 連線成功，但「自動獲得 DNS 伺服器位址」時卻沒有透過 VPN 指定的 DNS 解析網址，只有在指定 DNS 伺服器位址後才會有用
• A: 網路連線 > VPN > 右鍵「內容」 > 分頁「網路功能」 > 網際網路通信協議第 4 版 (TCP/IPv4) > 內容 > 進階 > 自動計量不勾選 > 輸入框設定值: 15

Reference

• wikipedia: 第二層隧道協議
• Ubuntu 架設 L2TP IPSec VPN Server (Mac 相容)
• Ubuntu 16.04 設置裝備擺設L2TP VPN Server
• IPsec VPN Server on Docker

• 此次的目的是要剖析 BIND9 的 query.log 檔，主要需要點竄的地方是 Logstash 構造化 log 的設定
• 先將 log 檔案所在的目次 volume 到 docker container，在 volumes 區塊新增
• ~/docker-elk/docker-compose.yml

/var/log/named:/var/log/named

• 根據 BIND9 的 query.log 新增構造化設定

sudo vi ~/docker-elk/logstash/pipeline/bind.conf

• ~/docker-elk/logstash/pipeline/bind.conf

input {
    file {
        type => "BIND_DNS"
        path => [ "/var/log/named/query.log" ]
        start_position => "beginning"
    }
}
 
filter {
    if [type] == "BIND_DNS" {
        grok {
            match => ["message"翻譯社 "(?%{MONTHDAY}[-]%{MONTH}[-]%{YEAR} %{TIME}) client %{IPV4:clientip}#%{POSINT:clientport} \(%{GREEDYDATA:query1}\): query: %{GREEDYDATA:query2} IN %{GREEDYDATA:querytype} \(%{IPV4:dns}\)"]
        }
        date {
            match => ["logdate", "dd-MMM-yyyy HH:mm:ss.SSS"]
            timezone => "America/Los_Angeles"
        }
    }
}
 
output {
    elasticsearch {
        hosts => "elasticsearch:9200"
    }
}

• input > file > path 分析 log 檔案的位置
• filter > grok 剖析並透過他的 patterns 重構 log 字串

03-Aug-2017 00:55:29.005 client XXX.XXX.XXX.XXX#54501(www.google.com): query: www.google.com IN A + (XXX.XXX.XXX.XXX)

into


// javascript 版本的 htmlspecialchars
    ->from('tbl_table')
P.S 這個影片全部很有《魔鬼終結者》的 fu...墨鏡才是本體啊！（噗）