FineIO

FineIO由两部分组成

• Virtual File System （VFS） 虚拟文件分块
• DirectMemory (DM) 基于Unsafe实现的堆外内存访问

Connector接口介绍 首先使用FineIO必须先实现Connector，如果没有Connector是无法使用的 下面给一个简单的示例 ：

public static class MemoryConnector extends AbstractConnector {

    private Map<FileBlock, byte[]> map = new ConcurrentHashMap<FileBlock, byte[]>();
 
     
    public InputStream read(FileBlock file) {
        byte[] b = map.get(file);
        if(b != null){
            return new ByteArrayInputStream(b);
        }
        return null;
    }
 
     
    public void write(FileBlock file, InputStream inputStream) {
        ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
        byte[] temp = new byte[1024];
        int len = 0;
        try {
            while((len = inputStream.read(temp) )> 0) {
                byteArrayOutputStream.write(temp, 0, len);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        map.put(file, byteArrayOutputStream.toByteArray());
    }
 
     
    public boolean delete(FileBlock block) {
        map.remove(block);
        return true;
    }
}

这是一个MemoryConnector的实现,实际实现的是存储到内存中，继承AbstractConnector必须要实现的是三个接口方法：

    /**
     * 读整块的方法
     * @param file
     * @return
     */
    InputStream read(FileBlock file) throws IOException;

传FileBlock 作为参数的读方法 FileBlock提供了getBlockURI方法提供了这个块在Connector中存储的相对URI 根据这个相对的URI从实际文件中获取到输入流

    /**
     * 写整快的方法，可以保证通一个块不被同时写
     * @param file
     * @param inputStream
     */
    void write(FileBlock file, InputStream inputStream)  throws IOException;

参数也是作为相对路径的FileBlock 再加上输入流对象inputStream， Buffer已经封装了对写异常的处理，所以这里不需要处理inputStream发生异常的情况

    /**
     * 删除块
     * @param block
     * @return
     */
    boolean delete(FileBlock block);

删除相对URI的方法 参数也是作为相对路径的FileBlock 加两个可选接口

    /*
    输出byte[]
     */
    void write(FileBlock file, byte[] bytes)  throws IOException;

这个 AbstractConnector已经做了byte 2 stream的封装,可以不实现，如果直接继承Connector则必须实现，建议继承AbstractConnector来实现Connector类

    /**
     * 写文件时单个块的最大size偏移量
     * 用1L << value 表示单个块的最大尺寸，不建议超过28 （256M） 不建议小于22 (4M)
     * 可以根据磁盘的读写能力控制这个值的大小介于12-31之间
     * 不支持小于12 4K
     * 不支持大于31 2G
     * @return
     */
    byte getBlockOffset();

同理 这个方法AbstractConnector默认值是22 也就是4M，如果需要调整这个大小，可以重写这个值 可以看下Zip4JConnector的实现 实现了多磁盘目录的输出： Cube多目录多线程压缩输出原理 实现了Connector下面就是怎么来使用FineIO了，缓存部分DM不需要考虑，这是被封装好的，只需要知道怎么使用VFS FineIO使用 创建虚拟文件 创建文件的时候需要传递三个参数 Connector 相对URI 和 MODEL类型 点击查看MODEL类型列表 示例： 创建一个long类型的写操作文件：

IOFile<LongBuffer> file = FineIO.createIOFile(connector, uri, MODEL.WRITE_LONG);

创建一个byte类型的读操作文件：

IOFile<ByteBuffer> file = FineIO.createIOFile(connector, uri, MODEL.READ_BYTE);

写虚拟文件 写操作文仅支持MODEL类型是WRITE或者EDIT开头的文件 READ类型的文件不支持写操作 连续写double值

IOFile<DoubleBuffer> file = FineIO.createIOFile(connector, uri, MODEL.WRITE_DOUBLE);
 
for(long i = 0;i < 1000000L;i++){
    FineIO.put(file, (double)i);
}
file.close();

或者

IOFile<DoubleBuffer> file = FineIO.createIOFile(connector, uri, MODEL.WRITE_DOUBLE);
 
for(long i = 0;i < 1000000L;i++){
    FineIO.put(file, i, (double)i);
}
file.close();

两个代码的效果是等同的，需要注意的是写文件操作仅支持连续写入，并且位置也是直接连续的 读虚拟文件 读double方法示例：

IOFile<DoubleBuffer> file = FineIO.createIOFile(connector, uri, MODEL.READ_DOUBLE);
double result = 0;
for(long i = 0; i < rowCount; i++){
    result += FineIO.getDouble(file, i);
}
file.close();

注意如果读越界，会抛出BufferIndexOutOfBoundsException的异常 编辑虚拟文件 按double方式编辑一个文件示例：

IOFile<DoubleBuffer> file = FineIO.createIOFile(connector, uri, MODEL.EDIT_DOUBLE);
double result = 0;
for(long i = 0; i < rowCount; i++){
    result += FineIO.getDouble(file, i);
}
for(long i = rowCount/2; i < rowCount; i++){
    FineIO.put(file, i, FineIO.getDouble(file, i - rowCount/2)*2);
}
file.close();

注意编辑文件的方法支持随机写入和随机读取，但是内存不足情况下容易导致IO频繁进出，Cube场景下不是特别需要 删除文件 删除文件示例：

IOFile<DoubleBuffer> file = FineIO.createIOFile(connector, uri, MODEL.READ_DOUBLE);
file.close();
file.delete();

注意：删除文件需要创建一个读或者编辑的文件，写文件的方法不能正确删除 OK FineIO 用法就是这么简单，还想咋地 此外写文件写完需要close文件，读文件则在完全不需要读的情况下close，不需要每次创建，读文件方法支持多线程访问 实现不同的Connector即可对接不同的存储，想怎么存都可以，实现HDFS就存到HDFS，实现redis就存到redis