當你開始接觸 clustering 時就會發覺, 原來沒學 clustering 根本等於沒有學 Unix / Linux.
我們一般情況用到的 SERVER / Client 只是皮毛. Clustering 一個字, 內裹包含了多種技術,
以下例子是常用的

1. HPC – High performance computing

2. Server Load balancing 負載平衡

   1. DNS round robin

   2. LVS – ipvsadm

3. HA – High availability

   1. XEN cluster

   2. Heartbeat

   3. DRBD - http://www.drbd.org/

4. Parallel computing

   1. http://en.wikipedia.org/wiki/MPICH

今天所談的是入門級的 clustering, LVS

LVS – Linux virtual server主要是用作負載平衡 與 HA,

What is the Linux Virtual Server?

The Linux Virtual Server is a highly scalable and highly available server built on a cluster of real servers, with the load balancer running on the Linux operating system. The architecture of the server cluster is fully transparent to end users, and the users interact as if it were a single high-performance virtual server.

SOURCE: http://www.linuxvirtualserver.org/ 

負載平衡的意思是把一部服務器的工作分到多部服務器之上. 由一個服務器為主人 ( Master ), 其他為幫手 ( node ). 如下圖

更可以制定負載平衡的策略

詳程參考, http://linux.die.net/man/8/ipvsadm

1. 1. rr - Robin Robin: distributes jobs equally amongst the available real servers.
   2. wrr - Weighted Round Robin: assigns jobs to real servers proportionally to there real servers’ weight. Servers with higher weights receive new jobs first and get more jobs than servers with lower weights. Servers with equal weights get an equal distribution of new jobs.
   3. lc – Least-Connection: assigns more jobs to real servers with fewer active jobs.
   4. wlc - Weighted Least-Connection: assigns more jobs to servers with fewer jobs and relative to the real servers’ weight (Ci/Wi). This is the default.
   5. lblc - Locality-Based Least-Connection: assigns jobs destined for the same IP address to the same server if the server is not overloaded and available; otherwise assign jobs to servers with fewer jobs, and keep it for future assignment.
   6. lblcr – Locality-Based Least-Connection with Replication: assigns jobs destined for the same IP address to the least-connection node in the server set for the IP address. If all the node in the server set are over loaded, it picks up a node with fewer jobs in the cluster and adds it in the sever set for the target. If the server set has not been modified for the specified time, the most loaded node is removed from the server set, in order to avoid high degree of replication.
   7. dh - Destination Hashing: assigns jobs to servers through looking up a statically assigned hash table by their destination IP addresses.
   8. sh - Source Hashing: assigns jobs to servers through looking up a statically assigned hash table by their source IP addresses.
   9. sed – Shortest Expected Delay: assigns an incoming job to the server with the shortest expected delay. The expected delay that the job will experience is (Ci + 1) / Ui if sent to the ith server, in which Ci is the number of jobs on the the ith server and Ui is the fixed service rate (weight) of the ith server.
   10. nq – Never Queue: assigns an incoming job to an idle server if there is, instead of waiting for a fast one; if all the servers are busy, it adopts the Shortest Expected Delay policy to assign the job.

source: Man page of ipvsadm

負載平衡方法大致上有

1. NAT (Network address translation)
2. DR – direct routing
3. Tunneling

以下是 LVS – NAT LOAD BALANCING 的參考

原意圖

VS via NAT, source: http://www.linuxvirtualserver.org/VS-NAT.html

指令

在 Master (NAT)

echo 1 > /proc/sys/net/ipv4/ip_forward

ipvsadm -A -t 192.168.7.200:80 -s rr

ipvsadm -a -t 192.168.7.200:80 -r 192.168.7.201:80 -m

ipvsadm -a -t 192.168.7.200:80 -r 192.168.7.202:80 -m

ipvsadm -a -t 192.168.7.200:80 -r 192.168.7.203:80 -m

ipvsadm -L –stats (現時的連接情況)

在 Nodes:

Set default route to 192.168.7.200

route add default gw 192.168.7.000

ip 地址

Thanks, 有興趣多討論請跟我連絡 keithyau@yubis.net !!

前陣子, 在師兄那邊聽了一個他的經驗, 一間寄存公司其中一個網頁服務器壞了的經驗.

話說一個裝有 800 客戶的網頁服務器只用 raid 5 作備份, 沒有備份服務器 (HA / heartbeat)的低成本制作,
某天一下子死掉兩個硬碟. 之後的 18 小時, 客戶服務部就 ...

在 HSBC 中學得的服務器管理知識, 告訴我任何作實戰 production 的服務器必需有備份,
而且是能夠在 15 分鐘內回復的備份. 不過, 現實情況是一些中小型機構, 沒有兩倍的成本去做備份.
所以回復時間在 18-24小時內都可以接受.

現時中小企的 IT 成本, 軟件比硬件高得多. 所以如果選用開源軟件,
再買一個 HKD $3000 的小服務器就安全得多了.

本文是以一個案例作介紹以虛擬技術把服務器模組化, 令備份 / 資源調動時方便得多.
那我師兄的故事, 如果是我的話怎樣處理 ? 先發現問題所在

問題 1: 裝有 800 客戶的服務器沒有虛擬化, 在救援 / 備份時造成不便
問題 2: 沒有備用服務器, 服務器停止的 18 小時中客戶服務部的開支比買一個小型服務器更高
問題 3: 除 raid 5 以外, 沒有資料備份. 原因可能是沒有虛擬化令備份程序複雜

所以根本問題是服務器的設計, 與技術人員的能耐無關 !

解決方法: 沒有人說備份服務器的比例一定是 1:1 的, 以一部備份多部 production 亦可.
因成本與客戶要求而定, 備份服務器不一定要有 raid, 不一定要有足夠的計算能力 (cpu power / cpw).
因此, 一部 HKD $3000 的服務器, 只要能夠作備份就足夠有餘了. 

但出現的問題是, 

1) 如果我把所有客戶的資料都備份, 資源需求很大. 這時可考慮 rsync, rsync 是增加式資料備份,
只備份已更改 / 新增檔案

以下是 rysnc 的示範, 在linux備份服務器輸入:
sudo rsync -avl --delete --exclude=/不包括的資料夾1 --exclude=/不包括的資料夾2 
來源地址:/要備份的資料夾 /本地儲存資料的位置

2) CPU 已經用來服務客人了, 怎樣做備份
這時需要 at 指令 / crontab, 可以設定只在特定時間作備份. 以前在 HSBC 時, 備份會在股市收市後進行.
以 at command 作示範

at 1900     ← 意思是當天下午 7:00
> 備份指令 (如以上的 rsync)
> 完成後 CTRL + D

除此之外, 把服務器虛擬化, 有些選擇是把服務器放到一個 img 檔案中.
這樣, 備份時把整個 img 檔案備份就能佔用較小資源.

3) 出事了, 怎樣啟動備用服務器 ?

你可以選用 HA (high availability) 設計, 並以 heartbeat 啟動, 這樣就可以作即時回復. 但成本較高.
在這文中不作詳談. 一般來說, 可以手動. 但先要為服務器作一個好的設計.

以下是一個網頁服務器群的設計

所謂服務器模組化就是一個服務器只作一種服務. 以前的日子, 成本會很高. 但在虛擬化之下就不算問題. 參考虛擬化制作: http://www.yubis.net/blog/keith/summary-virtualbox-vmware-xen-351?page=2

在服務器模組化出名的有 MICROSOFT VIRTUAL SERVER, 但使用 xen 的話更好. 在使用服務器群時會出現一個重大問題. 就是同一種服務不能有兩個服務器, 因為同一個 ip 地址 不能用同一個 port. 例如 port 80, 路由器只能指向一個服務器. 這時, 模組化就會不攻自破.

以下是一個解決方法

上圖中有兩個網頁服務器. External 是給客人用的. 但如果想把公司的網頁都用同一個 ip 地址放出去, 那就要 proxy 服務器的幫助. 先在 External 中開動 apache 的 proxy modules

# a2enmod proxy*

#/etc/init.d/apache2 restart

例如公司的網頁是 abc.xyz.org, 那分別在 dns 服務器, External & Internal 中加上圖中的設定, abc.xyz.org 就可以提供服務了.

以上說的與師兄的案例有什麼關連 ?

試把圖中 internal web server 當成師兄故事中所死掉的服務器, 那不就把 External 中的設定改一下, 由 死掉的服務器指向備份中的服務器就成了嗎 ? 同樣方法可以加上更多的網頁服務器  !

在上一次寫好計劃書之後, 今次就來準備演講. 很多時候, 當你的計劃書被接納之後, 都需要去演講. 因為大老闆的時間很寶貴的, 沒有時間去細看你的計劃書.

其實, 這次我準備演講的目的, 不是真正需要一次演講. 而是我希望跟老闆傾談自己概念的時候, 可以更加流暢. 準備演講的過程, 可以幫人整理問題, 找尋可能受批評的地方.

作為創業者 / 高層 / 年輕的你, 常都需要去表現自己, 相信了解如何演講可以幫助你.

這篇文章就來淺談演講,為我們這些新手做個解決方案

演講 四大法則 Presentation 4P

1. Product / Background (你的產品 / 計劃背景)
2. Problem (現存問題)
3. Possibilities (可行的方案)
4. Possible solution / Recommendation (你所建議的方案)

這四個法則大概是整個演講的流程, 當然還需要一些頭尾配合, 在最後, 我會介紹我自己篇排的流程.

如果你是在介紹產品, 那你的第一個 p 就是說 product. 你需要說明這個產品的相關背景, 例如為什麼會想制造這個產品.如你你介紹的不是產品, 那就說明你的計劃背景.

第二個 p (problem) 就是說明現存問題, 很多時都是出現問題, 人才會找解決方案. 但成功了的人 (老闆) 很少會自己發現問題的.所以就由我們這些進取的下一代來告知他們.

第三個 p (Possibilities) 是希望你介紹現存的一些可行方案去解決 第二個 p 說明的問題. 為什麼方案一比方案二好 ? 為什麼你的方案可取 ? 就在這裡開始發揮了.

如果你是介紹產品的話, 第四個 p (possible solution)就是你整個演講的中心. 你就是在這裡推銷自己的產品, 說明為什麼你的產品可以解決第二個 p 的問題, 而第三個 p 中介紹的方案不可行. 個人來說, 我會把最多時間花在這裡.

演講注意事項

1. Presentation 4 P 之前, 必需弄清演講對象 (Target audience). 在對象未明之前, 不要準備演講
2. Presentation 4 P 之前, 必需弄清楚演講目的. 你是在找尋伙伴 / 投資者 / 買家 ?
3. 說明事例時, 事不過三.
   記住人的記憶力有限, 舉出事例時, 四個太多, 二個太少. 三個就適中了.
4. 進入正提前要先說明演講內容與次序 (scope), 並建議聽眾有需要的話可更改次序.
5. 多用圖解, 避免一個 ppt 板面多於 3 + 1 ( 3 論點 + 1 題目)
6. 最後需要作個總結 (conclusion)
7. 記住 ppt 不是你的講稿, ppt 的目的只是用作表示圖解, 動畫, 數據等
8. 需要預備一些敏感題目答案, 這些往往會是別人發問的東西
9. 一個正式演講約十五分鐘 + 五分鐘發問 (Q & A)

我的演講流程示範

1. Purpose 演講目的
2. Scope　流程
3. Background　背景
4. Problem　問題
5. Problem Examples (User experience scene)　案例
6. Existing solutions　現行解決方案
7. My product – How it can solve the problem ?　產品介紹
8. Brief on my product architecture　產品設計
9. Cost　成本
10. Conclusion　總結

最近, 在寫技術性文章 / 計劃書 / 產品介紹 / 報告 時發覺,
GOOGLE 竟然找不到一個好方法.
之後就去請教一位英文教授, 在他那裹借來了一本書
<<Pocket Book of Technical Writing - for Engineers and Scientists 2nd>>.
清楚易明簡潔地令你明白如何開筆, 一份技術性文章應該如何設計和應用什麼表達方式.
相信作為工程師 / 科學人員, 每天醉心於研究的你們,
在表達自己成果的時侯都會跟我有同樣的煩惱.

從這本書了解到, 寫技術性文章約有四大部份

1. 文章的目的和針對讀者

2. 針對技術性文章的特點

   1. 技術性話題

   2. 多用圖形 / 圖畫表達

   3. 數字資料以表達數量與方向

   4. 由淺至深, 準確的表達方式

3. 決定文章性質

   1. 計劃書

   2. 報告

   3. 研究報告

   4. 說明書

   5. 建議書

4. 選擇不同部份的表達方式

   1. 說明名詞的含意 (classify terms)

   2. 結構性陳述 (Description of mechanism)

   3. 流程性陳述 (Description of Process)

   4. 圖表 (Visual)

本文以計劃書作為例子

一般的計劃書格式有時過於複雜,
<<Pocket Book of Technical Writing - for Engineers and Scientists 2nd>>
中建議了另一種計劃書格式 (Informal Proposals)

Informal Proposals

Introduction

• Purpose - Describe the reason for writing this proposal (文章目的)

• Background - Describe the problem that needs to be solved (問題背境)

• Scope - Review what this proposal will and will not cover (文章範圍)

Discussion

• Approach - Describe the proposed solution to the problem (解決方案)

• Result - Show how the solution will solve the problem(成效)

• Statement of work - List the tasks that will be performed (步驟)

Resources

• Personnel - List those who will be doing the work and their qualifications (人才)

• Facilities/equipment - List the physical resources required to do the work (資源)

Costs

• Fiscal - List the financial costs of implementing the proposed solution (成本)

• Time - List the time required to implement the proposed solution (時間)

Conclusion

• Summary - Highlight the benefits and risks of adopting the proposal (總結)

• Contract - Provide a contact for more information (聯絡)

以下是一些個人經驗

在落筆的時侯, 我們需要記住 – 文章是用來服侍讀者的 ! We are serving readers.

Introduction
在表達方式方面, 第一部份introduction 需要針對目標讀者, 使用較有吸引力的字句. 並在 scope 中說明這份計劃書只包括他們有興趣的話題.

Discussion
Approach 這部份是文章的中心, 建議在這裹運用一些技巧 (Description of mechanism / Process, part by part description). 而且需要加上圖表, 因為讀者都是懶惰的, 技術文章最大可能給讀者留意到的就是圖表.
在這裹可以用些圖片, 例如系統結構, 方便讀者明白.
到 statement of work 這部份時, 因為在顯示步驟, 請用 point form 表達.

Resource / Costs
在這些部份都是說明一些跟時間金錢有關的東西, 所以必要用圖表 / 計算表等東西來表達. 切記在金額上加上貸幣名 (HK$ / NT$)

Conclusion
這部份就是文章的概括, 有時一些比較忙的老闆可能就只看這一部份. 所以在這裹說話可以修飾得漂亮一點.
最後, 當然是在 contract 部份留下你的大名.

Visuals
多用圖表如 計算表 / 流程表 / 設計圖 / 結構圖 在什麼時候都有利 !

OpenLDAP 登入服務器

上文提到如何安裝 OpenLDAP 服務器, 今次將會提到如何在 ubuntu上把 OpenLDAP 服務器設定成一個登入服務器. 這樣你就可以使用同一組資料登入多個不同的服務器.

先作服務器端設定

安裝轉換工具 migration tools

sudo apt-get install migrationtools

更改 migration_common.ph 設定檔, 位置在 /usr/share/perl5

sudo vi /usr/share/perl5/migration_common.ph

根據服務器端的設計更改以下兩行

# Default DNS domain

$DEFAULT_MAIL_DOMAIN = “example.com”;

# Default base

$DEFAULT_BASE = “dc=example,dc=com”;

開始轉移登入資料 (把 /tmp 改成你的理想位置)

export ETC_SHADOW=/etc/shadow #把shadow 跟passwd 一同載入
./migrate_base.pl > /tmp/base.ldif
./migrate_group.pl /etc/group /tmp/group.ldif
./migrate_hosts.pl /etc/hosts /tmp/hosts.ldif
./migrate_passwd.pl /etc/passwd /tmp/passwd.ldif

用以下命令分別載入到 ldap 服務器

ldapadd -D “cn=admin,dc=domain,dc=com” -W -f /tmp/base.ldif

ldapadd -D “cn=admin,dc=domain,dc=com” -W -f /tmp/group.ldif

ldapadd -D “cn=admin,dc=domain,dc=com” -W -f /tmp/passwd.ldif

ldapadd -D “cn=admin,dc=domain,dc=com” -W -f /tmp/hosts.ldif

以 apt-get install 安裝認證需要的元件

Modules require for authentication
libnss-ldap – NSS module for using LDAP as a naming service
libpam-ldap – Pluggable Authentication Module allowing LDAP interfaces
libnss-ldapd – NSS module for using LDAP as a naming service
perdition-ldap – Library to allow perdition to access LDAP based popmaps
libpam-cracklib

在 pam library做小許 bug fix

ln -s pam_unix.so pam_pwdb.so

這樣, 服務器端的設定就完成了

再做客戶端的設定

Vi /etc/ldap.conf

host ldap.example.com

uri ldap://<服務器ip位置>:389/

base ou=People,dc=example,dc=com

nss_initgroups_ignoreusers backup,bin,daemon,dhcp,games,gnats,irc,klog,libuuid,list,lp,mail,man,munin,mysql,news,openldap,proxy,root,sshd,sync,sys,syslog,uucp,www-data

vi /etc/nsswitch.conf # 登入方法設定

passwd: ldap compat

shadow: ldap compat

group: ldap compat

vi /etc/pam.d/common-account #設定 account 認證方法

account sufficient pam_ldap.so

account required pam_unix.so try_first_pass

vi /etc/pam.d/common-auth # 設定登入認證方法

auth sufficient pam_ldap.so

auth requisite pam_unix.so nullok_secure try_first_pass

auth optional pam_smbpass.so migrate missingok

vi /etc/pam.d/common-password #設定密碼管理

password sufficient pam_ldap.so

password required pam_unix.so nullok obscure min=4 max=8 md5 try_first_pass

password optional pam_smbpass.so nullok use_authtok use_first_pass missingok

測試設定

getent passwd | grep <your user name>

會發現參數出現兩次

這樣客戶端就能使用中央使用者管理

如何建立 OpenLDAP server

LDAP 全名是 Lightweight Directory Access Protocol, 是一種目錄訪問協議, 在TCP/IP之上定義了一個相對簡單的升級和搜索目錄的協議。. 常見的用途有電話薄, 登入服務, 域名服務等. LDAP

今次所介紹的是 OpenLDAP 服務器的安裝方法

先安裝服務器所需軟件

sudo apt-get install slapd ldap-utils

重新設定 openldap 軟件

Dpkg-reconfigure slapd

1. omit openldap server configuration? no
2. dns domain name? example.com
3. organization name? yourCompany
4. database backend to use? bdb
5. do you want the database to be removed when slapd is purged? yes
6. may be the question: move old database? yes
7. administrator password? <your password>
8. confirm password? <your password>
9. allow LDAPv2 protocol? no

如果需要手動修改 slapd.conf, 可到 /etc/ldap/slapd.conf

# This is the main slapd configuration file. See slapd.conf(5) for more

# info on the configuration options.

#######################################################################

# Global Directives:

#

# Features to permit

allow bind_v2

# Schema and objectClass definitions

include /etc/ldap/schema/core.schema

include /etc/ldap/schema/cosine.schema

include /etc/ldap/schema/nis.schema

include /etc/ldap/schema/inetorgperson.schema

# Where the pid file is put. The init.d script

# will not stop the server if you change this.

pidfile /var/run/slapd/slapd.pid

# List of arguments that were passed to the server

argsfile /var/run/slapd/slapd.args

# Read slapd.conf(5) for possible values

“/etc/ldap/slapd.conf” 139 lines, 4760 characters

# This is the main slapd configuration file. See slapd.conf(5) for more

# info on the configuration options.

#######################################################################

# Global Directives:

# Features to permit

allow bind_v2

# Schema and objectClass definitions

include /etc/ldap/schema/core.schema

include /etc/ldap/schema/cosine.schema

include /etc/ldap/schema/nis.schema

include /etc/ldap/schema/inetorgperson.schema

# Where the pid file is put. The init.d script

# will not stop the server if you change this.

pidfile /var/run/slapd/slapd.pid

# List of arguments that were passed to the server

argsfile /var/run/slapd/slapd.args

# Read slapd.conf(5) for possible values

loglevel none

# Where the dynamically loaded modules are stored

modulepath /usr/lib/ldap

moduleload back_bdb

# The maximum number of entries that is returned for a search operation

sizelimit 500

# The tool-threads parameter sets the actual amount of cpu’s that is used

# for indexing.

tool-threads 1

#######################################################################

# Specific Backend Directives for bdb:

# Backend specific directives apply to this backend until another

# ‘backend’ directive occurs

backend bdb

#######################################################################

# Specific Backend Directives for ‘other’:

# Backend specific directives apply to this backend until another

# ‘backend’ directive occurs

#backend <other>

#######################################################################

# Specific Directives for database #1, of type bdb:

# Database specific directives apply to this databasse until another

# ‘database’ directive occurs

database bdb

# The base of your directory in database #1

suffix “dc=example,dc=com”

修改 /etc/ldap/ldap.conf (示範如下)

#

# LDAP Defaults

#

# See ldap.conf(5) for details

# This file should be world readable but not world writable.

BASE dc=example,dc=com

URI ldap://localhost:389

SIZELIMIT 12

TIMELIMIT 15

DEREF never

開始 slapd 服務器

/etc/init.d/slapd restart

測試

netstat -lvt | grep ldap

tcp 0 0 *:ldap *:* LISTEN

tcp6 0 0 [::]:ldap [::]:* LISTEN

其實 OpenLDAP 服務器的安裝方法並不複雜. 困難反而在於 client 客戶端的設定之上. 下篇文章, 將會介紹如何用 LDAP 設置 Linux 上的使用者登入系統.

昨天在服務器搬遷時遇到問題, 就是搬遷後, Mysql Start Fail – MySQL 資料庫不能開始. 找了很久都沒有答案, 檢查程序如下

以下的例子都是在 Ubuntu 下執行, 最後就是我的解決方法

檢查MySQL 的設定檔

Sudo vi /etc/mysql/my.cnf

[client]

port = 3306

socket = /var/run/mysqld/mysqld.sock

[client]

port = 3306

socket = /var/run/mysqld/mysqld.sock

# This was formally known as [safe_mysqld]. Both versions are currently parsed.

[mysqld_safe]

socket = /var/run/mysqld/mysqld.sock

nice = 0

[mysqld]

user = mysql

pid-file = /var/run/mysqld/mysqld.pid

socket = /var/run/mysqld/mysqld.sock

port = 3306

basedir = /usr

datadir = /var/lib/mysql # 確定 folder 是否存在

tmpdir = /tmp

language = /usr/share/mysql/english

skip-external-locking

bind-address = 127.0.0.1# 如果這裡是其他 ip 地址, 有可能造成 MySQL start fail

key_buffer = 16M

max_allowed_packet = 16M

thread_stack = 128K

thread_cache_size = 8

query_cache_limit = 1M

query_cache_size = 16M

log_bin = /var/log/mysql/mysql-bin.log

# WARNING: Using expire_logs_days without bin_log crashes the server! See README.Debian!

expire_logs_days = 10

max_binlog_size = 100M

skip-bdb

[mysqldump]

quick

quote-names

max_allowed_packet = 16M

[mysql]

#no-auto-rehash # faster start of mysql but no tab completition

[isamchk]

key_buffer = 16M

!includedir /etc/mysql/conf.d/

檢查MySQL 資料夾的權限

權限分別為

keithyau@Yubis-production:/var/lib$ sudo ls -l /var/lib/mysql

total 20612

-rw-r–r– 1 root root 0 2008-03-16 22:01 debian-5.0.flag

drwx—— 2 mysql mysql 12288 2008-08-16 02:29 drupal

-rw-rw—- 1 mysql mysql 10485760 2009-02-26 21:00 ibdata1

-rw-rw—- 1 mysql mysql 5242880 2009-02-26 21:08 ib_logfile0

-rw-rw—- 1 mysql mysql 5242880 2008-03-16 22:01 ib_logfile1

drwxr-xr-x 2 mysql root 4096 2002-01-13 17:16 mysql

-rw——- 1 root root 6 2008-03-16 22:01 mysql_upgrade_info

keithyau@Yubis-production:/var/lib$ sudo ls -l /var/lib

total 176

drwxr-xr-x 4 root root 4096 2008-03-14 20:39 apt

drwxr-xr-x 2 root root 4096 2008-03-14 20:41 aptitude

drwxr-xr-x 2 root root 4096 2002-01-26 19:48 dhcp3

drwxr-xr-x 4 root root 4096 2008-03-14 20:52 dictionaries-common

drwxr-xr-x 2 root root 4096 2006-10-24 03:27 discover

drwxr-xr-x 7 root root 4096 2009-02-26 20:45 dpkg

drwxr-xr-x 3 root root 4096 2008-03-14 20:53 gstreamer

drwxr-xr-x 2 root root 4096 2008-03-14 20:39 initramfs-tools

drwxr-xr-x 2 root root 4096 2007-01-31 06:27 initscripts

drwxr-xr-x 2 root root 4096 2009-02-26 19:17 lib_mysql

drwxr-xr-x 2 root root 4096 2008-03-14 22:32 logrotate

drwxr-xr-x 6 root root 4096 2009-01-03 14:12 menu-xdg

drwxr-xr-x 2 root root 4096 2006-10-28 22:06 misc

drwxr-xr-x 10 mysql mysql 4096 2009-02-26 21:08 mysql

drwxr-xr-x 2 root root 4096 2008-01-27 19:46 mysql-cluster

檢查後依然不能開始MySQL 服務器 ……

打開 /var/log/syslog 看看有沒有以下一行

Feb 26 20:45:59 Yubis-production /etc/init.d/mysql[6254]: ^G/usr/bin/mysqladmin: connect to server at ‘localhost’ failed

Feb 26 20:45:59 Yubis-production /etc/init.d/mysql[6254]: error: ‘Can’t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock’ (2)’

Feb 26 20:45:59 Yubis-production /etc/init.d/mysql[6254]: Check that mysqld is running and that the socket: ‘/var/run/mysqld/mysqld.sock’ exists!

Feb 26 20:45:59 Yubis-production /etc/init.d/mysql[6254]:

Feb 26 20:46:04 Yubis-production mysqld_safe[6319]: started

Feb 26 20:46:04 Yubis-production mysqld[6328]: 090226 20:46:04 InnoDB: Started; log sequence number 0 43665

Feb 26 20:46:04 Yubis-production mysqld[6328]: 090226 20:46:04 [ERROR] Binlog has bad magic number; It’s not a binary log file that can be used by this version of MySQL

如果存在的話, 應該是你的 MySQL 服務器沒有正常關上, 那就 …

打開 /var/log/mysql

keithyau@Yubis-production:/var/lib$ sudo ls -l /var/log/mysql/
total 295696
-rw-rw—- 1 mysql adm 104885450 2009-02-18 12:36 mysql-bin.000077
-rw-rw—- 1 mysql adm 105175310 2009-02-24 11:27 mysql-bin.000078
-rw-rw—- 1 mysql adm 83164522 2009-02-26 19:24 mysql-bin.000079
-rw-rw—- 1 mysql adm 98 2009-02-26 19:56 mysql-bin.000080
-rw-rw—- 1 mysql adm 9233377 2009-02-27 16:10 mysql-bin.000081
-rw-rw—- 1 mysql adm 160 2009-02-26 21:08 mysql-bin.index

把最後一個 bin 檔案刪除

sudo rm /var/log/mysql/mysql-bin.00081

再打開 mysql-bin.index 把最後一行刪除

sudo vi /var/log/mysql/mysql-bin.index

/var/log/mysql/mysql-bin.000077

/var/log/mysql/mysql-bin.000078

/var/log/mysql/mysql-bin.000079

/var/log/mysql/mysql-bin.000080

/var/log/mysql/mysql-bin.000081

重新打開 MySQL 資料庫就完成了

Sudo /etc/init.d/mysql restart

教學: Linux 下的 OpenVPN client

上回說到如何在 Windows 下安裝 OpenVPN client, 這回會介紹如何在 Linux 下使用 OpenVpn Client.有些時侯, 中小企需要使用一些自動化程序 Script 作安全連線. 在windows 下生成這樣的連線會比較難設定和不穩定. 這個時侯就需要 linux 的幫助. 在 Linux 下安裝openvpn 軟件就可以輕易創作自動連線的 Script

安裝 OpenVPN 軟件

在linux 下, OpenVPN 沒有server 和client 的分別, 都是用同一軟件進行. 所以只需要安裝 OpenVPN 便可

sudo apt-get install openvpn

創建鑰匙

首先,要創建鑰匙, 以下是在服務器端上鑰匙的制法 (把keithyau 換成你的使用者名字, 詳情參考 http://keithyau.wordpress.com/2009/02/07/vpn-solution-2-openvpn/)

sudo su
cd /etc/openvpn/examples/easy-rsa/2.0/
source ./vars
./clean-all
./build-ca

./build-key-server server
./build-key keithyau

./build-dh
cd keys
openssl dhparam -out dh1024.pem 1024
cd ..
openvpn –genkey –secret ta.key #optional

拷貝鑰匙

鑰匙拷貝到客戶端內, 例如 </home/example/config/keys>

在服務器端輸入

scp -pr /etc/openvpn/examples/easy-rsa/2.0/keys/<all your keys> <client host>:/home/exampel/config/keys

創建 ovpn Client 設定檔案 (把123.123.123 換成服務器的地址)

1. .opvn示範檔案如下

   1. client

   2. dev tap

   3. proto udp

   5. # change this to your server’s address

   6. remote 123.123..123..123 1194

   7. resolv-retry infinite

   8. nobind

   9. persist-key

   10. persist-tun

   12. #tls-client

   13. ca keys/ca.crt

   14. cert keys/keithyau.crt

   15. key keys/keithyau.key

   17. #ensure that we are talking to a server

   18. ns-cert-type server

   20. #confirm we are talking to the correct server

   21. #tls-auth ta.key 1

   22. # Select a cryptographic cipher.

   23. # If the cipher option is used on the server

   24. # then you must also specify it her e.

   25. cipher AES-128-CBC

   27. # Enable compression on the VPN link.

   28. comp-lzo

   30. #fragment 1400

   31. # enable user/pass authentication

   32. # auth-user-pass

相應的服務器設定參考

# Which local IP address should OpenVPN
# listen on? (optional)
local 192.168.1.102 #服務器的本地地址 (LOCAL IP)
port 1194

proto udp

dev tap0
#direct these to your generated files
ca /etc/openvpn/examples/easy-rsa/2.0/keys/ca.crt
cert /etc/openvpn/examples/easy-rsa/2.0/keys/server.crt
key /etc/openvpn/examples/easy-rsa/2.0/keys/server.key
dh /etc/openvpn/examples/easy-rsa/2.0/keys/dh1024.pem
ifconfig-pool-persist ipp.txt
#需要 dhcp 服務器 的配合
server 10.3.0.0 255.255.255.0
# 服務器上沒有 dhcp 服務器的請選這行
# server-bridge 192.168.1.102 255.255.255.0 192.168.1.230 192.168.1.231

keepalive 10 120
#encryption
cipher AES-128-CBC
#Push routing configuration
#push “route 192.168.2.0 255.255.255.0″

#tls-auth ta.key 0

comp-lzo
#fragment 1400
#limit the number of connections
max-clients 5
#some secuurity settings
# do not use if running server on Windows
user nobody
group nogroup
persist-key
persist-tun
#log file settings
status openvpn-status.log
verb 3

詳程參考 如何設立虛擬網絡

打開 VPN 連線

sudo openvpn <你的設定檔案>.ovpn

完成後, Client 會有以下情況

輸入 ifconfig 會看到新的虛擬網卡

服務器那邊都會出現成功訊息

自動化程序示範

#! /bin/bash

check=`ls /var/log/remote`

if [ -z check ] ;# no log file

then

exit 0

else # 打開 openvpn 連線,開始 backup

sudo openvpn <你的設定檔案>.ovpn

sudo backup.sh

fi

exit 0

如有任何問題, 歡迎與我連絡/ 留言, 大家交流一下

<!– @page { size: 8.5in 11in; margin: 0.79in } P { margin-bottom: 0.08in } –>

上文提及過 openvpn server的制作方法, 這篇文章會介紹服務器端與客戶端配合的一個例子.

在客戶端方面, 用家大部份都會用 Windows + openvpn. 在 Windows 下安裝 openvpn 十分簡單, 只需要以下步驟

1. 到這裡下載 openvpn 圖形介面客戶端
   http://openvpn.se/files/install_packages/openvpn-2.0.9-gui-1.0.3-install.exe

2. 雙click install.exe 安裝

3. 到 C:\Program Files\OpenVPN\config 創建 / 編輯 ovpn 檔案 (yourservername.ovpn)

4. .opvn示範檔案如下

   1. client

   2. dev tap

   3. proto udp

   5. # change this to your server’s address

   6. remote 123.123..123..123 1194

   7. resolv-retry infinite

   8. nobind

   9. persist-key

   10. persist-tun

   12. #tls-client

   13. ca keys/ca.crt

   14. cert keys/keithyau.crt

   15. key keys/keithyau.key

   17. #ensure that we are talking to a server

   18. ns-cert-type server

   20. #confirm we are talking to the correct server

   21. #tls-auth ta.key 1

   22. # Select a cryptographic cipher.

   23. # If the cipher option is used on the server

   24. # then you must also specify it her e.

   25. cipher AES-128-CBC

   27. # Enable compression on the VPN link.

   28. comp-lzo

   30. #fragment 1400

   31. # enable user/pass authentication

   32. # auth-user-pass

5. 把鑰匙拷貝到 C:\Program Files\OpenVPN\config\keys , 以下是在服務器端上鑰匙的制法 (把keithyau 換成你的使用者名字, 詳情參考 http://keithyau.wordpress.com/2009/02/07/vpn-solution-2-openvpn/)

   1. sudo su
      cd /etc/openvpn/examples/easy-rsa/2.0/
      source ./vars
      ./clean-all
      ./build-ca

      ./build-key-server server
      ./build-key keithyau

      ./build-dh
      cd keys
      openssl dhparam -out dh1024.pem 1024
      cd ..
      openvpn –genkey –secret ta.key #optional

6. 在右下角 openvpn icon按連接

   

7. 測試連線

令服務器能接受以上設定的請求, 相應需要以下的設定

# Which local IP address should OpenVPN
# listen on? (optional)
local 192.168.1.102
port 1194

proto udp

dev tap0
#direct these to your generated files
ca /etc/openvpn/examples/easy-rsa/2.0/keys/ca.crt
cert /etc/openvpn/examples/easy-rsa/2.0/keys/server.crt
key /etc/openvpn/examples/easy-rsa/2.0/keys/server.key
dh /etc/openvpn/examples/easy-rsa/2.0/keys/dh1024.pem
ifconfig-pool-persist ipp.txt
#需要 dhcp 服務器 的配合
server 10.3.0.0 255.255.255.0
# 服務器上沒有 dhcp 服務器的請選這行
# server-bridge 192.168.1.102 255.255.255.0 192.168.1.230 192.168.1.231

keepalive 10 120
#encryption
cipher AES-128-CBC
#Push routing configuration
#push “route 192.168.2.0 255.255.255.0″

#tls-auth ta.key 0

comp-lzo
#fragment 1400
#limit the number of connections
max-clients 5
#some secuurity settings
# do not use if running server on Windows
user nobody
group nogroup
persist-key
persist-tun
#log file settings
status openvpn-status.log
verb 3
# authentication plugin
#forces client to have a linux acount in order to connect (Not for Windows user)
# plugin /usr/lib/openvpn/openvpn-auth-pam.so login

這裡有安裝 DHCP server 的方法

sudo apt-get install dhcp3-server

sudo vi /etc/default/dhcp3-server

更改 為 INTERFACES=”br0″ # br0 = 你的網卡名稱

sudo vi /etc/dhcp3/dhcpd.conf

把其中一個示範修改為 (10.3.0.0 是你打算指派的網絡)

subnet 10.3.0.0 netmask 255.255.255.0 {

range 10.3.0.100 10.3.0.200;

option routers 192.168.1.1;

}

/etc/init.d/dhcpd restart

/etc/init.d/openvpn restart

這樣你的 Openvpn 就能成功在 linux → windows 間建立起來了

之前提到中小企安裝 vpn 的問題, 這篇文章將會講解如何安裝一種 SSL VPN – OpenVPN

OpenVPN 是一種在 SSL 上建立的 OpenVPN, 在網絡工程學上說, 是最高層級的 ( OSI MODEL) 所以擁有極強的防火趥穿透力, 在大部份地方都可以建立 VPN 連線. 最重要的是它多平台支援 - Solaris, Linux, OpenBSD, FreeBSD, NetBSD, Mac OS X, and Windows 2000/XP/Vista , 而且是免費的.

以下介紹它的設置方法

網絡示意圖 (切記把 192.168.1.1 / 192.168.1.102 換成閣下的設置)

先安裝 UBUNTU LINUX

這裡有它的安裝方法 http://yubis.net/blog/yubis/ubuntu-ubuntu-install-method-367

在 Ubuntu 上輸入以安裝所需軟件

sudo apt-get install openvpn bridge-utils

把所需要的 OPENSSL 軟件拷貝

cp -R /usr/share/doc/openvpn/examples/ /etc/openvpn/

修改 SSL 加密設定

cd /etc/openvpn/examples/easy-rsa/2.0
vi vars

檔案vars 裹的都是一些制作 ssl 鑰匙時用作認證的資料, 特別留心的是

export KEY_SIZE=2048

單位愈大, 加密時間愈長, 而駭客需要的破解時間都會增加

現在轉作 root 身份

sudo su

輸入以下指令, 以制作鑰匙

./vars
./clean-all
./build-ca #系統會詢問之前在 vars 設下的問題並提供在 vars 中的答案, 按下 ENTER 便可
制作服務器端的鑰匙
./build-key-server server
制作使用者和密碼

#制作密碼 (username = 你自己的使用者名稱)
./build-key-pass username
#不使用密碼 (username = 你自己的使用者名稱)
./build-key username 
建立 Diffie Hellman key
./build-dh 
#建立服務器 id key
openvpn --genkey --secret ta.key

建立 /etc/openvpn/server.conf 用作 openvpn 服務器的設定

# OpenVPN 服務器地址
local 192.168.1.102
port 1194
# TCP or UDP 服務器
proto udp
#所使用的網橋名稱
dev tap0
#之前制作出來的鑰匙位置
ca /etc/openvpn/examples/easy-rsa/2.0/keys/ca.crt
cert /etc/openvpn/examples/easy-rsa/2.0/keys/server.crt
key /etc/openvpn/examples/easy-rsa/2.0/keys/server.key
dh /etc/openvpn/examples/easy-rsa/2.0/keys/dh1024.pem
ifconfig-pool-persist ipp.txt
#服務器網橋的設定 (切記最後那兩個地址是沒被任何機器 / dhcp使用)
server-bridge 192.168.1.102 255.255.255.0 192.168.1.200 192.168.1.201
#needed to allow communication to internal network
client-to-client
keepalive 10 120
#所選擇的認證方法
#更快的選擇有 blowfish: "BF-CB"
cipher AES-128-CBC
#在這裡提供其他內網的地址 (如果亦想使用 openvpn)
push "route 192.168.2.0 255.255.255.0"
#服務器 id 的鑰匙
tls-auth ta.key 0
#compression for network speed
comp-lzo
# if packets are too large fragment them (only really useful if you have an old router)
#fragment 1400
#最大連接數目
max-clients 5
# do not use if running server on Windows
user nobody
group nogroup
persist-key
persist-tun
#log file settings
status openvpn-status.log
verb 3
# authentication plugin
#forces client to have a linux account in order to connect
plugin /usr/lib/openvpn/openvpn-auth-pam.so login


制作 /etc/init.d/bridge 用作開機時自動打開網橋服務


#!/bin/bash
# Create global variables
# 網橋的名稱 (自訂)
br="br0"
# 虛擬網卡的名稱 (自訂, 但需跟 /etc/openvpn/server.conf 相應)
# for example tap="tap0 tap1 tap2".
tap="tap0"
# Define physical ethernet interface to be bridged
# with TAP interface(s) above.
eth="eth0"
eth_ip="192.168.1.102"
eth_netmask="255.255.255.0"
eth_broadcast="192.168.1.255"
gw="192.168.1.1"
start_bridge () {
#################################
# Set up Ethernet bridge on Linux
# Requires: bridge-utils
#################################
for t in $tap; do
openvpn --mktun --dev $t
done
for t in $tap; do
ifconfig $t 0.0.0.0 promisc up
done
ifconfig $eth 0.0.0.0 promisc up
brctl addbr $br
brctl addif $br $eth
for t in $tap; do
brctl addif $br $t
done
ifconfig $br $eth_ip netmask $eth_netmask broadcast $eth_broadcast up
route add default gw $gw $br
}
stop_bridge () {
####################################
# Tear Down Ethernet bridge on Linux
####################################
ifconfig $br down
brctl delbr $br
for t in $tap; do
openvpn --rmtun --dev $t
done
ifconfig $eth $eth_ip netmask $eth_netmask broadcast $eth_broadcast up
route add default gw $gw $eth
}
case "$1" in
start)
echo -n "Starting Bridge"
start_bridge
;;
stop)
echo -n "Stopping Bridge"
stop_bridge
;;
restart)
stop_bridge
sleep 2
start_bridge
;;
*)
echo "Usage: $0 {start|stop|restart}" >&2
exit 1
;;
esac

<!– @page { size: 8.5in 11in; margin: 0.79in } P { margin-bottom: 0.08in } –>

設定權限

chmod 755 /etc/init.d/bridge

設定開機時自動打開網橋

update-rc.d bridge defaults 15

打開 openvpn 服務

sudo /etc/init.d/bridge start
sudo openvpn /etc/openvpn/server.conf

這樣, openvpn 的服務器設定就完成了

如果覺得還是太煩的話, 可以參考 http://pfsense.org pfsense 是一種基於 freebsd 的系統, 有預載 openvpn

下一文章, 將會講解如何設定 openvpn 的客戶端