Chinese (Simplified)

English

Note

此文件的目的是为让中文读者更容易阅读和理解，而不是作为一个分支。因此，如果您对此文件有任何意见或更新，请先尝试更新原始英文文件。如果您发现本文档与原始文件有任何不同或者有翻译问题，请发建议或者补丁给该文件的译者，或者请求中文文档维护者和审阅者的帮助。

Original:: SAS Layer
翻译:: 张钰杰 Yujie Zhang <yjzhang@leap-io-kernel.com>
校译:

SAS 层¶

SAS 层是一个管理基础架构，用于管理 SAS LLDD。它位于 SCSI Core 与 SAS LLDD 之间。体系结构如下: SCSI Core 关注的是 SAM/SPC 相关的问题；SAS LLDD 及其序列控制器负责 PHY 层、OOB 信号以及链路管理；而 SAS 层则负责以下任务:

* SAS Phy、Port 和主机适配器（HA）事件管理（事件由 LLDD
  生成，由 SAS 层处理）；
* SAS 端口的管理（创建与销毁）；
* SAS 域的发现与重新验证；
* SAS 域内设备的管理；
* SCSI 主机的注册与注销；
* 将设备注册到 SCSI Core（SAS 设备）或 libata（SATA 设备）；
* 扩展器的管理，并向用户空间导出扩展器控制接口。

SAS LLDD 是一种 PCI 设备驱动程序。它负责 PHY 层和 OOB（带外）信号的管理、厂商特定的任务，并向 SAS 层上报事件。

SAS 层实现了 SAS 1.1 规范中定义的大部分 SAS 功能。

sas_ha_struct 结构体用于向 SAS 层描述一个 SAS LLDD。该结构的大部分字段由 SAS 层使用，但其中少数字段需要由 LLDD 进行初始化。

在完成硬件初始化之后，应当在驱动的 probe() 函数中调用 sas_register_ha()。该函数会将 LLDD 注册到 SCSI 子系统中，创建一个对应的 SCSI 主机，并将你的 SAS 驱动程序注册到其在 sysfs 下创建的 SAS 设备树中。随后该函数将返回。接着，你需要使能 PHY，以启动实际的 OOB（带外）过程；此时驱动将开始调用 notify_* 系列事件回调函数。

结构体说明¶

`struct sas_phy`¶

通常情况下，该结构体会被静态地嵌入到驱动自身定义的 PHY 结构体中, 例如:

struct my_phy {
        blah;
        struct sas_phy sas_phy;
        bleh;
}

随后，在主机适配器（HA）的结构体中，所有的 PHY 通常以 my_phy 数组的形式存在（如下文所示）。

在初始化各个 PHY 时，除了初始化驱动自定义的 PHY 结构体外，还需要同时初始化其中的 sas_phy 结构体。

一般来说，PHY 的管理由 LLDD 负责，而端口（port）的管理由 SAS 层负责。因此，PHY 的初始化与更新由 LLDD 完成，而端口的初始化与更新则由 SAS 层完成。系统设计中规定，某些字段可由 LLDD 进行读写，而 SAS 层只能读取这些字段；反之亦然。其设计目的是为了避免不必要的锁操作。

在该设计中，某些字段可由 LLDD 进行读写（RW），而 SAS 层仅可读取这些字段；反之亦然。这样设计的目的在于避免不必要的锁操作。

enabled

必须设置(0/1)

id

必须设置[0,MAX_PHYS)]

class, proto, type, role, oob_mode, linkrate

必须设置。

oob_mode

当 OOB（带外信号）完成后，设置此字段，然后通知 SAS 层。

sas_addr

通常指向一个保存该 PHY 的 SAS 地址的数组，该数组可能位于驱动自定义的 my_phy 结构体中。

attached_sas_addr

当 LLDD 接收到 IDENTIFY 帧或 FIS 帧时，应在通知 SAS 层之前设置该字段。其设计意图在于：有时 LLDD 可能需要伪造或提供一个与实际不同的 SAS 地址用于该 PHY/端口，而该机制允许 LLDD 这样做。理想情况下，应将 SAS 地址从 IDENTIFY 帧中复制过来；对于直接连接的 SATA 设备，也可以由 LLDD 生成一个 SAS 地址。后续的发现过程可能会修改此字段。

frame_rcvd

当接收到 IDENTIFY 或 FIS 帧时，将该帧复制到此处。正确的操作流程是获取锁 → 复制数据 → 设置 frame_rcvd_size → 释放锁 → 调用事件通知。该字段是一个指针，因为驱动无法精确确定硬件帧的大小；因此，实际的帧数据数组应定义在驱动自定义的 PHY 结构体中，然后让此指针指向该数组。在持锁状态下，将帧从 DMA 可访问内存区域复制到该数组中。

sas_prim

用于存放接收到的原语（primitive）。参见 sas.h。操作流程同样是：获取锁 → 设置 primitive → 释放锁 → 通知事件。

port

如果该 PHY 属于某个端口（port），此字段指向对应的 sas_port 结构体。LLDD 仅可读取此字段。它由 SAS 层设置，用于指向当前 PHY 所属的 sas_port。

ha

可以由 LLDD 设置；但无论是否设置，SAS 层都会再次对其进行赋值。

lldd_phy

LLDD 应将此字段设置为指向自身定义的 PHY 结构体，这样当 SAS 层调用某个回调并传入 sas_phy 时，驱动可以快速定位自身的 PHY 结构体。如果 sas_phy 是嵌入式成员，也可以使用 container_of() 宏进行访问——两种方式均可。

`struct sas_port`¶

LLDD 不应修改该结构体中的任何字段——它只能读取这些字段。这些字段的含义应当是不言自明的。

phy_mask 为 32 位，目前这一长度已足够使用，因为尚未听说有主机适配器拥有超过8 个 PHY。

lldd_port

目前尚无明确用途。不过，对于那些希望在 LLDD 内部维护自身端口表示的驱动，实现时可以利用该字段。

`struct sas_ha_struct`¶

它通常静态声明在你自己的 LLDD 结构中，用于描述您的适配器:

struct my_sas_ha {
    blah;
    struct sas_ha_struct sas_ha;
    struct my_phy phys[MAX_PHYS];
    struct sas_port sas_ports[MAX_PHYS]; /* (1) */
    bleh;
};

(1) 如果你的 LLDD 没有自己的端口表示

需要初始化（示例函数如下所示）。

pcidev¶

sas_addr

由于 SAS 层不想弄乱内存分配等, 因此这指向静态分配的数组中的某个位置（例如，在您的主机适配器结构中），并保存您或制造商等给出的主机适配器的 SAS 地址。

sas_port¶

sas_phy

指向结构体的指针数组（参见上文关于 sas_addr 的说明）。这些指针必须设置。更多细节见下文说明。

num_phys

表示 sas_phy 数组中 PHY 的数量，同时也表示 sas_port 数组中的端口数量。一个端口最多对应一个 PHY，因此最大端口数等于 num_phys。因此，结构中不再单独使用 num_ports 字段，而仅使用 num_phys。

事件接口:

/* LLDD 调用以下函数来通知 SAS 类层发生事件 */
void sas_notify_port_event(struct sas_phy *, enum port_event, gfp_t);
void sas_notify_phy_event(struct sas_phy *, enum phy_event, gfp_t);

端口事件通知:

/* SAS 类层调用以下回调来通知 LLDD 端口事件 */
void (*lldd_port_formed)(struct sas_phy *);
void (*lldd_port_deformed)(struct sas_phy *);

如果 LLDD 希望在端口形成或解散时接收通知，则应将上述回调指针设置为符合函数类型定义的处理函数。

SAS LLDD 还应至少实现 SCSI 协议中定义的一种任务管理函数（TMFs）:

/* 任务管理函数. 必须在进程上下文中调用 */
int (*lldd_abort_task)(struct sas_task *);
int (*lldd_abort_task_set)(struct domain_device *, u8 *lun);
int (*lldd_clear_task_set)(struct domain_device *, u8 *lun);
int (*lldd_I_T_nexus_reset)(struct domain_device *);
int (*lldd_lu_reset)(struct domain_device *, u8 *lun);
int (*lldd_query_task)(struct sas_task *);

如需更多信息，请参考 T10.org。

端口与适配器管理:

/* 端口与适配器管理 */
int (*lldd_clear_nexus_port)(struct sas_port *);
int (*lldd_clear_nexus_ha)(struct sas_ha_struct *);

SAS LLDD 至少应实现上述函数中的一个。

PHY 管理:

/* PHY 管理 */
int (*lldd_control_phy)(struct sas_phy *, enum phy_func);

lldd_ha

应设置为指向驱动的主机适配器（HA）结构体的指针。如果 sas_ha_struct 被嵌入到更大的结构体中，也可以通过 container_of() 宏来获取。

一个示例的初始化与注册函数可以如下所示：（该函数应在 probe() 函数的最后调用）但必须在使能 PHY 执行 OOB 之前调用:

static int register_sas_ha(struct my_sas_ha *my_ha)
{
        int i;
        static struct sas_phy   *sas_phys[MAX_PHYS];
        static struct sas_port  *sas_ports[MAX_PHYS];

        my_ha->sas_ha.sas_addr = &my_ha->sas_addr[0];

        for (i = 0; i < MAX_PHYS; i++) {
                sas_phys[i] = &my_ha->phys[i].sas_phy;
                sas_ports[i] = &my_ha->sas_ports[i];
        }

        my_ha->sas_ha.sas_phy  = sas_phys;
        my_ha->sas_ha.sas_port = sas_ports;
        my_ha->sas_ha.num_phys = MAX_PHYS;

        my_ha->sas_ha.lldd_port_formed = my_port_formed;

        my_ha->sas_ha.lldd_dev_found = my_dev_found;
        my_ha->sas_ha.lldd_dev_gone = my_dev_gone;

        my_ha->sas_ha.lldd_execute_task = my_execute_task;

        my_ha->sas_ha.lldd_abort_task     = my_abort_task;
        my_ha->sas_ha.lldd_abort_task_set = my_abort_task_set;
        my_ha->sas_ha.lldd_clear_task_set = my_clear_task_set;
        my_ha->sas_ha.lldd_I_T_nexus_reset= NULL; (2)
        my_ha->sas_ha.lldd_lu_reset       = my_lu_reset;
        my_ha->sas_ha.lldd_query_task     = my_query_task;

        my_ha->sas_ha.lldd_clear_nexus_port = my_clear_nexus_port;
        my_ha->sas_ha.lldd_clear_nexus_ha = my_clear_nexus_ha;

        my_ha->sas_ha.lldd_control_phy = my_control_phy;

        return sas_register_ha(&my_ha->sas_ha);
}

SAS 1.1 未定义 I_T Nexus Reset TMF（任务管理功能）。

事件¶

事件是 SAS LLDD 唯一的通知 SAS 层发生任何情况的方式。 LLDD 没有其他方法可以告知 SAS 层其内部或 SAS 域中发生的事件。

Phy 事件:

PHYE_LOSS_OF_SIGNAL, (C)
PHYE_OOB_DONE,
PHYE_OOB_ERROR,      (C)
PHYE_SPINUP_HOLD.

端口事件，通过 _phy_ 传递:

PORTE_BYTES_DMAED,      (M)
PORTE_BROADCAST_RCVD,   (E)
PORTE_LINK_RESET_ERR,   (C)
PORTE_TIMER_EVENT,      (C)
PORTE_HARD_RESET.

主机适配器事件：: HAE_RESET

SAS LLDD 应能够生成以下事件:

  - 来自 C 组的至少一个事件（可选），
  - 标记为 M（必需）的事件为必需事件（至少一种）；
  - 若希望 SAS 层处理域重新验证（domain revalidation），则
应生成标记为 E（扩展器）的事件（仅需一种）；
  - 未标记的事件为可选事件。

含义

HAE_RESET

当 HA 发生内部错误并被复位时。

PORTE_BYTES_DMAED

在接收到 IDENTIFY/FIS 帧时。

PORTE_BROADCAST_RCVD

在接收到一个原语时。

PORTE_LINK_RESET_ERR

定时器超时、信号丢失、丢失 DWS 等情况。 [1]

PORTE_TIMER_EVENT

DWS 复位超时定时器到期时。[1]

PORTE_HARD_RESET

收到 Hard Reset 原语。

PHYE_LOSS_OF_SIGNAL

设备已断开连接。 [1]

PHYE_OOB_DONE

OOB 过程成功完成，oob_mode 有效。

PHYE_OOB_ERROR

执行 OOB 过程中出现错误，设备可能已断开。 [1]

PHYE_SPINUP_HOLD

检测到 SATA 设备，但未发送 COMWAKE 信号。

执行命令 SCSI RPC:

int (*lldd_execute_task)(struct sas_task *, gfp_t gfp_flags);

用于将任务排队提交给 SAS LLDD，@task 为要执行的任务，@gfp_mask 为定义调用者上下文的 gfp 掩码。

此函数应实现执行 SCSI RPC 命令。

也就是说，当调用 lldd_execute_task() 时，命令应当立即在传输层发出。SAS LLDD 中在任何层级上都不应再进行队列排放。

返回值:

* 返回 -SAS_QUEUE_FULL 或 -ENOMEM 表示未排入队列；
* 返回 0 表示任务已成功排入队列。

struct sas_task {
        dev —— 此任务目标设备；
        task_proto —— 协议类型，为 enum sas_proto 中的一种；
        scatter —— 指向散布/聚集（SG）列表数组的指针；
        num_scatter —— SG 列表元素数量；
        total_xfer_len —— 预计传输的总字节数；
        data_dir —— 数据传输方向(PCI_DMA_*)；
        task_done —— 任务执行完成时的回调函数。
};

发现¶

sysfs 树有以下用途:

a) 它显示当前时刻 SAS 域的物理布局，即展示当前物理世界中
   域的实际结构。
b) 显示某些设备的参数。 _at_discovery_time_.

下面是一个指向 tree(1) 程序的链接，该工具在查看 SAS 域时非常有用： ftp://mama.indstate.edu/linux/tree/

我期望用户空间的应用程序最终能够为此创建一个图形界面。

也就是说，sysfs 域树不会显示或保存某些状态变化，例如，如果你更改了 READY LED 含义的设置，sysfs 树不会反映这种状态变化；但它确实会显示域设备的当前连接状态。

维护内部设备状态变化的职责由上层（命令集驱动）和用户空间负责。

当某个设备或多个设备从域中拔出时，这一变化会立即反映在 sysfs 树中，并且这些设备会从系统中移除。

结构体 domain_device 描述了 SAS 域中的任意设备。它完全由 SAS 层管理。一个任务会指向某个域设备，SAS LLDD 就是通过这种方式知道任务应发送到何处。SAS LLDD 只读取 domain_device 结构的内容，但不会创建或销毁它。

用户空间中的扩展器管理¶

在 sysfs 中的每个扩展器目录下，都有一个名为 “smp_portal” 的文件。这是一个二进制的 sysfs 属性文件，它实现了一个 SMP 入口（注意：这并不是一个 SMP 端口），用户空间程序可以通过它发送 SMP 请求并接收 SMP 响应。

该功能的实现方式看起来非常简单:

构建要发送的 SMP 帧。其格式和布局在 SAS 规范中有说明。保持 CRC 字段为 0。

open(2)

以读写模式打开该扩展器的 SMP portal sysfs 文件。

write(2)

将第 1 步中构建的帧写入文件。

read(2)

读取与所构建帧预期返回长度相同的数据量。如果读取的数据量与预期不符，则表示发生了某种错误。

close(2)

整个过程在 “expander_conf.c” 文件中的函数 do_smp_func() 及其调用者中有详细展示。

对应的内核实现位于 “sas_expander.c” 文件中。

程序 “expander_conf.c” 实现了上述逻辑。它接收一个参数——扩展器 SMP portal 的 sysfs 文件名，并输出扩展器的信息，包括路由表内容。

SMP portal 赋予了你对扩展器的完全控制权，因此请谨慎操作。

The Linux Kernel

Contents

This Page

SAS 层¶

结构体说明¶

`struct sas_phy`¶

`struct sas_port`¶

`struct sas_ha_struct`¶

pcidev¶

sas_port¶

事件¶

发现¶

用户空间中的扩展器管理¶

SAS 层¶

结构体说明¶

struct sas_phy¶

struct sas_port¶

struct sas_ha_struct¶

pcidev¶

sas_port¶

事件¶

发现¶

用户空间中的扩展器管理¶

`struct sas_phy`¶

`struct sas_port`¶

`struct sas_ha_struct`¶